《吕氏春秋》记:“缚娄、阳禺、驩兜之国,多无君。”其中阳禺国都在今阳山境内青莲峡头一带，相传其国为蚩尤九黎之后裔，为扬越之族，甚至有学者认为“阳禺”与“扬越”古音相同。

二战末美军航空测绘阳山周边地形图

秦平百越后，于茂溪口置阳山关，扼骑田岭路。《史记南越尉佗传》“尉佗檄阳山关曰，盗兵且至，急绝道聚兵自守”。

顺治阳山县志县城图

西汉初，析长沙郡南部设桂阳郡，并置阳山县属之。东汉建安二十五年（220年），阳山县并入含洭县（建安十九年起，岭南已归孙权所属）。

三国吴甘露元年（265年），复以含洭县之桃乡重置阳山县，属始兴郡。按南北朝时期成书的《水经注》记“洭水南经阳山县故城西，又经阳山县南，故含洭县之桃乡，孙皓（吴末帝）分立为县。”

国民政府陆军部测绘阳山县

南梁天监六年（507年），置阳山郡，辖含洭、阳山、桂阳、广德四县。

隋开皇九年（589年），平灭南陈。次年大肆废并天下郡县，废阳山郡为县。新置连州，阳山隶于其下。

50年代阳山县

唐神龙二年，阳山县治又自桃乡迁至洭水北，即今址。

元末县治短暂迁治到连州四角塘。

明洪武二年（1369年），阳山县并入连山县，属韶州府。洪武十四年（1371年），复置阳山县，县治复于旧治。在景泰以前，阳山县一直以木栅为城。

阳山县城大致范围示意

天顺七年，知县刘广始筑砖城，仅设东、西、南三门。成化五年，知县李茂增修。正德十年，大水冲溢城内，知县曾显重修斜城四十七丈。嘉靖十八年，洪水灌城，增开北门方便民众登山避水，并为四座城门楼命名：东门寅宾、南门柔远、西门通楚、北门望韩。嘉靖二十四年，知县陈应龙增高城墙三尺。嘉靖三十二年，又因寅宾门地处要冲，增筑重门（瓮城）名曰燕窝门。嘉靖四十一年，改柔远门为朝宗门。

民国时期广东省阳山县全图（上盖民国时期广东省阳山县政府印）

清顺治九年，象寇（即广西、贵州交界地区，古时为象郡）攻陷城池，四周城垣倾颓过半，知县郭升修复。康熙十三年，又因三藩之乱，城垣遭伪周（吴三桂）军攻掠，再度半塌，直到康熙二十年，知县裴振李修复如故。计城周长二百七十五丈，高二丈一尺，规模极小。