В 1833 году на территории городского кладбища было начато строительство Всехсвятской церкви, освящение которой состоялось в 1838 году. Ранее на месте каменного храма стояла одноименная деревянная церковь, построенная в 1779 году. В те времена место, на котором стояла церковь, представляло собой восточную окраину города. Уникальность выдержанной в традициях классицизма архитектуры Всехсвятской церкви состоит в том, что она является единственным в Сибири храмом круглой формы.