过去，衢州城里既有府衙，又有县衙。今府山公园最早叫峥嵘山，是东汉时期屯兵筑城之地。后来唐代修建衢州城，衢州府衙署就设置在山上，一直持续到明清。由此，峥嵘山也得名府山。

衢州府衙署遗址就位于府山北部，从南北朝时期算起，历代郡、州、路、道、府的治所都设在这一带，直至解放初期，驻衢部队司令部仍然设在府山上。

原本的衢州府衙署规模宏大，自宋代知州张嵲在府山筑思政堂后，历代地方官修缮扩充，到明清时规模蔚然，中间南北纵向仪门、大堂、后堂、后花园，大堂前兵、刑、工、吏、户、礼六房两边分列。东侧土地祠、经历、照磨，西侧粮厅、捕厅、内衙，另外还有一干配套用房，整个府衙开间数十，此外府门外尚有官员宅户。

可惜今已全部无存，只剩下一片绿草地和几株古树。