З даўніх часоў насельніцтва гарадка займалася не толькі рыбнай лоўляй і сплавам лесу, але і вырабам скуры. Адсюль і пайшла назва: на польскай мове — Скужаны грудэк, а па-руску — Кожевенный городок.
Старыя людзі кажуць, што ў 1863 годзе ў Кажан-Гарадок прыйшлі паўстанцы. Яны хаваліся ў старым драўляным касцёле. Відаць, гэта былі людзі Каліноўскага, бо, па ўспамінах старых людзей, паўстанцы часта казалі, калі што якое:
— Будзем скардзіцца Кастусю!
Адна з ускраін Кажан-Гарадка называецца Майдан. Гавораць, што тут стаяла калісьці татарская конніца. З тых часоў і захавалася гэтая назва, бо на татарскай мове слова «майдан» азначае і плошчу, і рынак, і месца, дзе стаяць коні.
Узвышша каля Майдана тутэйшыя людзі называюць Відушавай гарой. Існуе паданне, быццам менавіта тут быў пахаваны славуты рымскі паэт Авідзій. Лічаць, што ён нібыта загінуў недзе на Палессі і пахавалі яго тут. З гэтай прычыны гару і пачалі называць Відушавай.