乳源为古曲江之地，当地多山，远离郡城。百姓住在深山，靠溪水而居，不交田租。朝廷官吏往来，每每调发百姓驾船接送，称之为“传役”。每一位官吏外出，徭役摊派需好几家，百姓为其所苦。

康熙乳源县志 县境图

东汉建武二年（26年），大司徒邓禹府官卫飒调任桂阳太守。“凿山通道五百余里”，开辟西京古道，自此驿途畅通。

康熙乳源县志 城池图

南宋乾道三年（1167年），分曲江县西境乳源乡四里，崇信乡八里，以及乐昌县南境新化乡三里置新县，以县北丰岗岭溶洞产钟乳石，又以溶洞为泉流源头，故名乳源。

1932年国民政府陆军部测绘乳源县城

县治虞塘，属韶州。韶州府司理刘天锡受命负责筹建县事宜。刘天锡裁撤境内无名浮屠，取其砖修建县学。又于虞塘黄土岭下筑土城，城周五里有奇，为门四：东门望韶、南门观澜、西门迎翠、北门宜寿。

民国时期 广东省乳源县图

淳熙十四年（1187年），土城为贼所毁。次年知县曾造修复。德祐元年（1275年），土城再度被贼毁去（按康熙版县志记载古县城在当时遗址尚存）。

元至正三年，郴寇（湖南州起义军）罗一、罗二据城为寨。至正十二年，郴寇攻陷乳源。

1941年广东省乳源县县图

明洪武元年，知县张安仁迁县治于洲头津筑土城守之。洪武二十七年，贼首邝友明作乱，时多路官军进剿，叛乱皆平，但由于平叛过程中杀戮过多，导致县内荒芜民田二百五十三倾七十五亩。于是朝廷招湖广、江西之民移民占籍。

乳源县城略图（此图为上图之附图）

天顺六年，通判杜宥、知县李鑑改土城为石城，城周二百八十三丈。成化十七年，知县孔俊建东、南两座城门。

乳源县城推测范围示意

正德十二年，乐昌瑶族贼首高快马（自称高天王）率众千余人，造车十余辆，以车拉五六丈大木冲撞城墙，知县沈渊督守，城中百姓奋勇守城，有敢死二人潜入地下放火烧车，围城得解。

二战末美军航空测绘乳源周边地形

万历五年，表东门名为拱阳、南门名为迎薰。崇祯十三年，知县蒋明凤以时局动荡将城墙增高五尺。

50年代乳源县城地形图

清康熙二年，东方城房尽倾倒，知县裘秉钫修复，并重建东、南二门城楼。