赤溪三面环海，一面靠陆，以其水流含泥沙多色赤，故名“赤溪”。赤溪半岛之上横亘着曹峰山将半岛分割为赤溪平原和田头平原。清初为了防备沿海居民勾结南明郑成功，清廷颁布迁海令，使得这一地区人迹断绝。

二战末美军航空测绘赤溪周边地形

清康熙七年，迁海令被废除，为快速恢复沿海地区民生经济，朝廷号召生活在贫困山区的客家人迁徙到沿海的滩涂平原进行垦荒。

1920年赤溪县图

经过康、雍、乾三朝百年，大量客家人自惠州府、潮州府、嘉应州三地所属各县山区先后迁入新宁县（台山市）南部的赤溪半岛区域聚居。

1920年赤溪县城图

清咸丰年间，因两次鸦片战争战败，清政府被迫向西方列强输送大量赔款。加上两广地区的太平天国运动和天地会总暴动（红巾军起义）。

百度地图中仍可以从街道布局分辨古城轮廓

清政府不得不依靠民间组织的民团武装来镇压起义。由于此时的广东地区民生经济基本破产，被武装起来的客家人与广府人（俗称土人，即土著之意）之间因争夺生产资料以及习俗、文化等种种历史原因最终引发席卷两广的土客大械斗。

赤溪厅城范围示意

同治五年，浮石土人绅士赵树藩等，污蔑赤溪客家人多为红巾军余党，请广州府派兵镇压。广东省府遂派遣湘军数万进攻赤溪。当地客家人顽强阻击，先后斩杀湘军副将翁桂秋、王东林、贺国辉三人。

1932年国民政府陆军部测绘赤溪县

同治六年二月，广东巡抚蒋益澧亲自带兵来剿，广东布政使郭祥瑞亦领兵来援。赤溪客家人首领扬椊剑向前来围剿的巡抚蒋益澧呈文鸣“冤”。在了解到客家武装并非红巾军余党后，蒋益澧遂召集土客双方绅士议和。

会议决定实行土客分治，双方以产换产。凡赤溪、曹冲、田头、磅礴、铜鼓五堡以内田庐，均割归客民耕管，客民旧有之冲蒌、四九、五十、那扶、深井、大门、三合、大隆洞等处田庐，亦悉归土民耕管。

民国时期赤溪县乡镇区域图

同时于赤溪设厅，添设同知一员、司狱一员驻扎管理，直属广东布政司。赤溪旧有寨城一所，蒋益澧奏请将旧寨城改为厅城，工费由运库（盐运司的银库）拨付。

但其后由于运库无钱拨款，加上旧寨城日渐倾颓，到光绪十六年，五堡绅民集议自行筹款修筑厅城，设城门四座：东门镇海、西门太乙、南门冕南、北门遵道，四座城门均用方石砌成。

50年代赤溪县周边地形图

其余城垣则用石角石灰粘结，之中填沙灰及小石块，城周六百六十五丈，高一丈六尺五寸，修筑工作自光绪十六年一直延续到宣统二年，历任同知都有修筑部分城垣。

民国建立后，改厅为县建制，修城款项不继，这也导致赤溪城墙未能全面完工。1953年，撤销赤溪县，并入台山县。