О нем сложено много легенд, но ни в одной из них не сказано доброго слова о купце.

Жил в Пскове богатый купец Сергей Поганкин, который своим жестоким нравом, алчностью к деньгам возбудил в народе ненависть, а поэтому и прозвали его «поганым». Так это позорное имя осталось за ним и за его потомками.

Еще одна легенда говорит о бродяге, который нашел клад и, познакомившись с «бесовскими деньгами», стал лютым человеком, хоть и разбогател.

Рассказывают и об осевшем в Пскове атамане разбойников, который пролил много человеческой крови и на награбленное построил палаты, прозванные Поганкиными.

Есть легенда и о дерзком ответе заносчивого купца Ивану Грозному, который за наглость бил торговца по спине посохом и назвал «поганым».

Из уст в уста передавались рассказы о страшных злодеяниях Сергея Поганкина. На железных цепях в глубоких сырых подвалах его палат томились и страдали заживо погребенные люди. А еще говорится, что сам Сергей Поганкин в пылу гнева привязал свою молодую жену к крупу полудикой лошади и пустил ее в поле. Лошадь вернулась на следующий день, вся забрызганная кровью. С этого времени Поганкин стал часто предаваться диким забавам.

Много жалоб от бедноты поступало в Москву на Сергея Поганкина, в которых винили его в хищениях, убийствах, в беспошлинной торговле с немцами…