在衢州钟楼底下西侧是赵抃祠，赵抃是北宋名臣，人称“铁面御史”。赵抃祠始建于南宋咸淳四年（1268），几次迁移，现址为明万历年间迁移，现存建筑为清道光十二年（1832）所建。

赵抃出生于宋真宗大中祥符元年（1008），就是衢州柯城区人。其于仁宗景祐元年（1034）中进士，历任崇安、海陵、江原三县知县，泗州通判。至和元年（1054），为殿中侍御史，以“纠察官邪，肃正纲纪”著称。

英宗即位后，赵抃奉使契丹，还朝后进河北都转运使。神宗即位后，以知谏院召还，拜参知政事。熙宁三年（1070），因反对“青苗法”去位，外知杭州、青州等地。熙宁十年（1077），再知杭州。元丰二年（1079），以太子少保致仕居乡。元丰七年（1084）逝世，年七十七。追赠太子少师，谥号“清献”。

现存的这座赵抃祠，坐北朝南，占地446.7平方米，平面呈纵长方形，四合院布局，前后共三进，有正祠、正室三楹、两厢等。1920年，曾对赵抃祠进行大修。祠内有局部复原的苏轼《表忠观碑》，悬挂着道光年间衢州知府谭瑞东书“天下第一流人”匾额。（浙93，第六批浙江省重点文物保护单位，2024年7月23日）