建元四年（公元前137年），赵佗驾崩，其孙赵胡（又名赵昧）继位，是为南越文王。赵胡大概率是有越人血统，赵胡这个名字见于中原史料记载，“赵昧”则是考古挖出来的姓名。
1983年在广州市越秀区解放北路象岗山发掘的西汉南越王墓，因出土文物中有“文帝行玺”金印、“帝印”玉印及“赵昧”玉印各一方，考古工作者遂将墓主确定为西汉第二代南越王赵昧。
帝王改名考古工作者之所以确认“赵昧”就是“赵胡，主要理由有二个，其一是赵胡的墓始终没发现；其二就是帝王为避讳改名的传统。
南越国的制度几乎就是照抄秦（汉）朝的，比如赵胡墓中有不少陶器上刻印的字为“长乐宫’‘私官’‘泰官’‘厨丞”，在过去发掘的南越王国官吏墓中，曾发现“居室”‘长秋居室”“食官”“常御”等文字，都可以证明南越王国的百官制度和宫室名称都是仿效汉朝的。从出土的编钟、编磐、编饶看，可以推知南越王国的礼乐制度也是模仿汉朝的。
所以，关于南越王名讳“赵胡”“赵眜”的关系问题，实际上就可以把它与同时的汉代帝王使用名的一些情形结合起来考虑。
古代君王继位时就要改名，改名的规则总结如下；“不以国，不以日月，不以隐疾，不以山川”、“不以官”，“不以畜牲，不以器币”、“不以本国为名”，“不以甲乙丙丁为名”，“不以体上幽隐之处疾病为名”。
这主要是它们都是专用词，会给天下人避讳带来很大的麻烦，“以国则废名，以官则废职，以山川则废主，以畜牲则废祀，以器币则废礼”。
不“以体上幽隐之处疾病为名”，因为身体的疾病的名称是“公认”的，朝廷的禁令只会让百姓获罪。比如汉宣帝刘询，原名刘病已；“不以器币为名”，如汉平帝原名“箕子”，是通用器物的名称，类似现在的“碗”，所以才于元始二年（2年）下诏更名为“刘衎”。
“不以甲乙丙丁为名”其实就是类似百姓家给孩子取名，叫老大，老二，老三一样。
然后就是“赵眜”的“眜”，《说文》说：“昧，目不明也。”意思就是说眼睛有问题，暗示赵眜生来即有眼疾。赵眜登上“帝位”后，直接改名为“赵胡”。
有一种解释，说南越国“称帝”的“帝”，是界于“皇帝”与“诸侯王”之间的，即“诸侯王，帝，皇帝”三级，因战国时期，秦国与齐国并称“东西二帝”，秦始帝统一天下后，称“皇帝”，南越国觉得自己比汉朝低，但比其它诸侯国要高，就用“帝”这个称号。
至于为啥印章“赵眜”会出现在墓中，因为这是赵胡的私章，私人物品会随主人一起下葬是相当正常的情况。
灭亡的因子赵胡的能力远远不如其祖父赵佗，他继位三年后，闽越王驺郢就兴兵侵扰南越边邑。赵胡没有立马选择反击，而是向朝廷上书求救。他以藩臣不得相互攻击滋事为由，声明自己并未兴兵反击，请求朝廷介入。
此时汉朝在位的是汉武帝，汉武帝是个不安分的皇帝，表扬南越国的同时，又在建元六年（前135年）遣两位将军征讨闽越。然而军队还没到，闽越王的弟弟余善便杀了郢，向汉朝投降。
闽越王是退了，但汉朝使者来到了南越国，目的很简单，要求南越太子赵婴齐入都为质。这是中原王朝对不服四夷的核心手段，赵胡无奈，只得答应，并说等他整顿完后，必将日夜兼程觐见天子。
使者离开后，南越大臣劝阻赵胡说，先王嘱咐，侍奉天子只需不失礼仪，为了迎合示好而入朝觐见乃大忌，进京之后就不可能再回来，国家也势必要衰亡。赵胡立马醒悟，谎称生病，一直拖着没有履行进京朝见的义务。
但赵胡的这次“遣子入质”就成了灭亡南越国的因子。原因很简单，赵婴齐是南越太子，又是南越“和辑汉越”的典范，赵婴齐在南越时便娶了越女为妻，生下长子赵建德，赵婴齐在西汉为质时，又娶了汉女邯郸樛氏女子为妻，生下次子赵兴。
一边是有本地越人支持的赵建德，一边是汉朝支持的赵兴，这就是内乱的因子。
元朔四年(前125年)，赵胡病死，太子赵婴齐得到消息后请辞返国继位。
赵婴齐在汉都十余年，见过西汉的威严，其想法被汉朝“洗脑”，回国继位后，做了二件事，其一南越武帝（赵佗）、文帝（赵胡）两块刻有僭号的玺印藏起来，意思是要做大汉的藩国；其二，上书请封他在长安结识迎娶的邯郸樛氏女为后，立赵兴为王嗣。
前面说过，汉越联姻是赵氏能主政南越的基础条件之一，赵婴齐选择赵兴为嗣，意味着本地越人会强烈不满。
赵婴齐面对越人的压力，选择让朝廷干预内政来抵抗国内的压力，这又意味着让渡了部分自治权利。比如汉朝再次要求南越“遣子入质”，赵婴齐当了一段时间的南越王后，学聪明了，直接让其它儿子入质示忠，不再派太子。
内乱元鼎四年(前113年)，赵婴齐薨，谥号明王。继任者赵兴年幼，又在汉朝长大，根本不熟悉本地情况。
汉武帝见多年准备终有成果，立马派安国少季为首的使团出使南越国，这安国少季是南越太后的旧情人，派他前往就是为了制造矛盾。同时令“卫尉路博德将兵屯桂阳，待使者"，以武力为后盾以强制南越“内属"。
使团到达南越后，不出汉武帝所料，南越王太后复与安国少季私通。汉武帝晚年赐死钩弋夫人，曾作如是解释，“往古国家所以乱也，由主少母壮也。女主独居骄蹇，淫乱自恣，莫能禁也。女不闻吕后邪？”
当时南越国大权落入丞相吕嘉手中。用《史记》中的话形容吕嘉的权势，吕嘉辅佐三代南越王，宗族在南越为官者七十多人，家族男子娶王女，女子尽嫁南越王宗室，又与赵佗所封的苍梧王联姻。吕嘉在南越国中又有威信，众多人愿意跟随吕嘉。
其相吕嘉年长矣，相三王，宗族官仕为长吏者七十馀人，男尽尚王女，女尽嫁王子兄弟宗室，及苍梧秦王有连。其居国中甚重，越人信之，多为耳目者，得众心愈於王。
出生于中原的太后势力弱孤，害怕发生动乱，就想借助汉朝力量和威望，以求稳固其统治地位，所以急求“内属"。但丞相吕嘉极度反对归汉，两种势力之间的矛盾日见激烈。
直到汉朝使团的到来，安国少季与太后私通一事曝光，给本来不满的越人再加了一把火；汉朝给的外援（军队加使团护卫）给了太后“内属”的自信。
太后借汉朝使者之势，劝服儿子及宠信臣僚举国内属。赵兴通过汉使朝廷传达了自己希望汉朝将南越纳为内诸侯国的意图，并承诺会拆掉边境的所有防御关卡，每三年入朝述职一次。得悉情况的丞相吕嘉数次谏止，赵兴不听。
丞相吕嘉没得其它办法，打算废黜幼王，扶赵建德为主。本来汉使最初的态度是劝和丞相吕嘉，因汉武帝已承诺富贵，可汉朝使者便数次约见吕嘉，都被吕嘉以病推脱，汉使便起了杀机。
南越太后害怕吕嘉先行造反，也与汉使联合起来，想于借汉使者之手除掉吕嘉。于是太后以宴请汉朝使者为名，要求国中大臣列席，准备在酒席上动手。
吕嘉也是老江湖，知道这次非去不可，在赴宴时将弟弟带兵守在宫外，以防自己不测。
开宴时，太后当着汉使的面，问吕嘉；“南越内属，国之利也，而相君苦不便者，何也？”太后是想挑起属汉的话题，诱使吕嘉当场驳斥，从而激怒汉朝使者。但未与汉使商量引计，导致汉使面面相觑，彼此都一头雾水，没人敢动手。吕嘉见势头不对，当即离席。王太后大怒，她夺过长矛当场想要掷杀吕嘉，结果被赵兴制止了。
吕嘉知道赵兴无意杀自己，所以在离宫后，下令重兵把守宅邸，不再与汉使或赵兴见面。
时局就这么僵持着。
汉武帝见南越国迟迟没有解决，就决心再推一把。派韩千秋与南越太后的弟弟樛乐将二千余人前往南越，这二千余人使团入南越境，终于刺激到了吕嘉。
吕嘉决定先下手，他对国中人说；“王年少。太后，中国人也，又与使者乱，专欲内属，尽持先王宝器入献天子以自媚，多从人，行至长安，虏卖以为僮仆。取自脱一时之利，无顾赵氏社稷，为万世虑计之意。”吕嘉还是打着赵氏天下的旗号，说太后与汉使通，想卖国，为南越国计，只有换一个赵氏君主了。
于是，吕嘉等人杀了南越王赵兴、王太后和驻扎番禺的汉朝使者，并立赵婴齐和越人妻子生的长子術阳侯赵建德为王，通告国中郡县及苍梧秦王赵光。另一方面，吕嘉设下陷阱，派大军灭了韩千秋的二千余人使团。
灭亡吕嘉杀害汉使者终于给汉武帝开战的契机，他下令封赏韩千秋及摎乐后人，宣布大赦，征集郡县及诸侯兵力讨伐南越。
元鼎五年前112年秋，汉朝规划五路水军南下。经过一年激战，到元鼎六年(公元前111年)，伏波将军路博德、楼船将军杨仆攻下番禺城，南越守军大部投降，吕嘉、赵建德逃亡海上，最终被汉军抓获。
另苍梧王赵光、揭阳令史定皆不战而降，原越将毕取亦率军投降。桂林郡监居翁，更是劝谕骆越四十万人一起归汉。
至此传五代九十三年的南越国灭亡。
南越国算是汉武帝好大喜功牺牲品，本来在赵佗“和辑汉越”的政策下，汉越文化和流，就这么发展下去，南越迟早被中原吞并，可汉武帝选择最为暴力的方式去征服，这也导致之后的治理中汉朝付出巨大的治理成本，不得已放弃不得边地。再就是暴力延后了矛盾，没有解决矛盾，比如“二征”起事，与马援南征就成了东汉的任务了。
