Šalia vyskupo rezidentinio namo yra M.Valančiaus sodelis, kuriame yra paminklas vyskupui. Paminklo autorius skulptorius Antanas Aleksandravičius. 1951 m. kelių vietinių komunistų rankomis paminklas buvo nugriautas ir atiduotas į antrinių žaliavų punktą, kurios vedėjas Antanas Norkus paslapčia savo namų prieangyje po grindimis, užritinęs akmenį, vyskupo biustą paslėpė. Tik Sąjūdžio pradžioje, dėka iniciatyvių žmonių ir A.Norkaus sūnaus Antano, vysk. Valančiaus biustas, po pusketvirto dešimtmečio slėpimo, 1988 m. grįžo į katedrą.1990 m. paminklas buvo atstatytas toje pačioje vietoje, kur jis ir stovėjo.