南梁天监五年（506年），取“广施德政”之意，析桂阳县地置广德县，属始兴郡，县治设于钟山下，即今吉田镇古县坪，次年衡州新置阳山郡，广德改隶其下。

二战末美军航空测绘连山周边地形图（注：地图中标注连山的区域现为连南）

隋开皇十年（590年），改广德县称广泽县，属连州。仁寿元年（601年），为避太子杨广名讳，改名连山县，属熙平郡。

国民政府陆军部测绘连山县

唐贞观元年（627年），属连州辖。天宝元年（742年），升为连山郡。乾元元年（758年）复降为县，仍隶连州。大历三年（768年），又改隶广州。光化三年（900年），又改隶连州。

50年代连山县（旧城，此时县治已迁永和圩）

南宋绍兴六年（1136年），废连山县建置，改设为镇。绍兴十八年（1148年），复设为县，县治移程山（永丰司城），改称程山县。

1941年连山县城区域图

元至元十三年，连州州治移至程山县，直隶行中书省。至元十五年（1278年），将县治由程山迁回古县坪，并恢复连山旧名，仍属连州。

60年代末美国锁眼卫星拍摄的连山旧县城区域影像图

明永乐元年（1403年），连山县治再度移治程山。天顺六年（1462年），知县孔镛将县治移至大象山小水坪（即今太保镇）。成化四年（1468年），筑连山县城，周长只有一百八十丈，城墙由石块垒叠而成，高三丈，开四门：东门迎旭,西门秩成,南门离照,北门宣威。

连山县城范围示意

广东境内本无瑶民，绍兴年间连州人廖姓者出仕广西提刑，归乡时携带瑶仆十余人，后散居山间繁衍，刀耕火种。至明中期时已近三百年，瑶民繁衍壮大，一来受朝廷压迫，二来与汉文化不和，加之其地间杂獞民（即壮族），导致各民族间摩擦不断，变乱迭起。

民国时期连山县地图

成化至正德年间的大藤峡壮民起义，数次征讨，连山境内壮民衰落，逐步向儒汉文化靠拢，居于更偏僻山区的瑶民则填补原壮民的势力范围。

清康熙四十年，先有瑶民袭杀过路人，又有瑶民劫掠乡村抢走耕牛打伤民众。告至官府，遂出兵连州、连山等处权度事势，宣扬朝廷威德，并剿灭数处瑶寨。

1941年广东省连山县图

次年都统松桂调广东、广西、湖广三省兵马，水陆并进至三江口，瑶民降服，康熙四十二年(1703年),清廷于连州三江筑寨城（即现今连南瑶族自治县）,设理猺（瑶）同知,隶属广州府,专理瑶（民）务，并设把总一员，驻兵一百兼管捕盗。雍正七年（1729年），改理瑶同知为理瑶军民直隶同知。

嘉庆二十一年（1816年），连山县并入理瑶军民直隶同知，并改名为连山理瑶直隶厅，官署衙门亦迁至原连山县城。

50年代连山县，新县治永和墟（圩）

民国元年（1912年），改连山理瑶直隶厅为县。民国三十五年（1946年），连山县治自太保旧城移治永和圩（即现址）。