赵胡面对诏令并慑于汉朝廷的威势，他不敢予以拒绝，也不敢跟严助人长安晋见天子。情急之中，只好和几个近臣商量，称自己本愿同严助一同人朝晋见天子，以示谢恩，无奈自己继位时间不长，身体多病，不能去往长安，一旦病情有所好转，即刻赴长安晋见天子。为了表达自己的诚意，特命太子赵婴齐跟严助一同赴长安为皇帝“宿卫”。
严助见赵胡如此说，不便强求，只好带上太子赵婴齐返回长安。
严助走后，赵胡同朝臣反复商量是否亲自去长安晋见天子之事。以承相吕嘉为首的臣僚不同意赵胡亲赴长安，并劝谏说：“汉兴兵诛郑，亦行以惊动南粤。先王言事天子期毋失礼，要之不可以休好语人见。人见则不得复归，亡国之势也。”
臣僚们的劝谏，勾起了赵胡对亡祖父赵佗当年所留遗训的回忆，想起了汉、越几十年来相互存有戒心和敌视的历史。从此之后，他对汉廷一直称自己有病在身，不肯去长安入见皇帝。
汉武帝见赵胡迟迟不肯人朝晋见自己，便以牙还牙，以种种借口，把太子婴齐质于长安不肯放回。赵佗当年的遗训应验了。
后来，垂相吕嘉用计，设法使太子婴齐返回南越。但赵胡自太子人朝后，萎靡不振，如同大伤了元气一般，不再见辅佐大臣。吕嘉等群臣以国家基业为重，数次入主宫进谏，总算使赵胡有了些起色，但已无力挽回南越国江河日下的颓局了。
在这种危机四伏的格局中，赵胡勉强支撑了十余年便抑郁而死，死后谧为文王。
多少年后，有学者认为赵胡既然答应了严助要亲自入长安朝见，后又“背入朝之约”，“一再售汉以疑”，造成了汉对南越的“益疑”，则“祸速”也，认为只要人朝见天子，“一修朝数，礼成而还，恭格之节愈昭，君臣之义愈密”，则南越国的江山愈固矣。对这种看法，现代史学家张荣芳、黄淼章却提出了不同的见解和看法。
张、黄认为：经过汉初70余年的休养生息，汉王朝的国力正达到了最高峰。在这种大气候下，具有雄才大略的汉武帝要加强中央集权，势必要解决封国问题，打击割据势力。如武帝元朔二年（公元前127年）采纳主父僵的建议，下达“推恩令”等。联系当时形势，武帝对南越国是有征服的想法的。无论南越国如何讨好汉廷，只要汉朝国力一旦强盛起来，是不会允许这个极具威胁的王国存在的。且看汉越刀兵相向，就可知两者决一雌雄的日子只是个时间问题了。
危机四伏南越国
事实上，早在汉文帝时，将军陈武就提出了以武力南征荡平百越的构想，当时的汉文帝则说：“兵，凶器，虽克所愿，动亦耗病，谓百姓远方何？愿·一结和通使，且无议军。”话虽如此，实际上当时的汉廷军力有限，汉文帝颇有自知之明，所以未对南越动武。而到汉武帝时，形势已大不相同了。经过景帝的“削藩”和平吴楚七国之乱，同姓诸侯王的权势大不如前。汉武帝行“推恩令”，强令诸侯王分封自己的子弟，使封地越分越小；同时借口取消了不少高官贵族的封爵，使中央王权得到了巩固，皇帝有能力独揽朝政大权。整个国力达到了有汉以来最为鼎盛的时期，造成了国富民强和安定的政局。这样，徽定边患，开拓疆域，建立大一统的汉帝国成了汉武帝的当务之急。这个时候，雄心勃勃的汉武帝再也不满足干南越王国表面臣服，实质上仍是半独立的藩属关系了。政治上的稳定，经济上的繁荣，军事上的强大，使汉武帝感到用武力解决南越国问题的时机到来了。
早在唐蒙出使南越时，因食蜀产拘酱，无意中发现了从西蜀至夜郎，再从样柯江浮舟一而下，可至番禺城的通道。唐蒙发现这条通道后，曾上书汉武帝说：“南粤王黄屋左蠢，地东西万余里，名为外臣实一州主。今以长沙、豫章往，水道多绝，难行，窃闻夜郎所有精兵，可得十万，浮船样柯，出其不意，此制越一奇也。诚以汉之强，巴蜀之饶，通夜郎道，为置吏，甚易。”唐蒙的建议，是让汉武帝利用这条水道出奇兵制越，汉武帝听罢大喜，拜唐蒙为中郎将，带一千兵和许多汉帛丝绸财物等，赴夜郎国先行招抚。唐蒙带了大量锦缎，率一千人做护卫，出都南下，沿途经过许多险阻，才进人夜郎国。夜郎国王名叫多同，因为地处闭塞，素与外界不通，这多同还以为世上惟他夜郎最大，见到汉使唐蒙，不禁问道：“汉朝与我谁大？”唐蒙欲笑不得，只得如实俱述。后世相传的“夜郎自大”的故事便源于此。唐蒙一边讲述汉朝如何强盛，如何富饶，又把锦缎置于帐前，五光十色，锦绣成章，夜郎王见所未见，闻所未闻，不由得瞳目结舌，表示愿臣属于汉，当下与唐蒙订立约章。
夜郎国在赵佗执政时期曾接受赵佗赠给财物，与南越关系密切，有役属关系。唐蒙对夜郎王厚送财物，晓谕威德，恩威并施，终于说服夜郎归汉，其附近的小部落也相约归附汉朝。汉武帝不失时机地在夜郎设键为郡，为平定南越伏下了奇兵。
元狩年间（公元前122…公元前117年），汉武帝以南越将叛，欲与越军用船进行水战为由，在长安西南开凿昆明池，周围四十里，建造楼船，训练水军，作好与越军进行水战的准备。
除此之外，汉武帝连连颁诏，拓边关，广绝域，西至沫若水（沫河和若河，即今大渡河），南至拜柯江（一说即今北盘江，一说即今都江），凿灵山道（今广西南部），架桥孙水〔一说在今贵州瓮安西北），直达印都（西南州郡）。汉廷在这一带设立了一都尉，十县令，归蜀管辖。
就在汉武帝集中力量准备平定南越时，南越国本身也发生了变化。赵婴齐在长安时，曾娶邯郸缪氏为姬妾，生子赵兴，而他在南越时，已娶越女为妻，生子赵建德。婴齐接南越王位后，受缪氏姬妾的迷惑，竟然向汉廷请求立缪氏为王后，赵兴为太子。出于利益的考虑，汉武帝批准了他的请求。赵婴齐这种舍长立幼的做法，打破了封建常规制度，为南越国的灭亡种下了祸根。当时，南越承相吕嘉等人，曾在立嗣的问题上劝谏过赵婴齐，“蛊于婴齐择立太子之日，积极诚谏，以去就争，使改立建德，嘉为国重臣，争之不已”。遗憾的是，此时的婴齐已听不进这些臣僚的劝谏了，他这个荒唐的做法，成为导致南越国覆亡的导火线。
婴齐继位不久即病死，汉朝追封他为“明王”，太子赵兴即王位，母亲缪氏被封为王太后。这位太后长在长安，在未嫁婴齐之前，与一名叫安国少季的官吏有过暖昧关系，此事整个长安上层人物几乎人人知晓。元鼎四年（公元前113年），汉武帝专门派安国少季为使者，带上辩士谏大夫终军和勇士魏臣等到番禺，还派卫尉路博德将兵屯桂阳，以接应使者，给南越造成内外压力，劝谕南越王赵兴和缪太后到长安朝见天子。
这个时候，南越王赵兴继位不久，年纪尚轻，太后又是汉女入越，人生地疏，朝中的实权实际上掌握在垂相吕嘉手中，形势对赵兴母子十分不妙。更为不妙的是，自安国少季到达南越国后，尽管这位缪太后徐娘半老，却风情不减，淫心犹存，竟与旧日情人安国少季再次私通，直搅得宫内宫外乌烟瘴气，出现了“国人颇知之，多不附太后”的局而。缪太后深知自己不得南越国民心，恐国中发生动乱，于是心生邪念，力劝赵兴和南越国臣僚向汉武帝请求内属：“比内诸侯，三岁一朝，除边关”，主动放弃南越立国以来一直保持的相对独立的地位。太后的这一做法，无非是想借汉朝的力量来削弱吕嘉的大权，使势弱力孤的她和赵兴重掌实权，保住赵氏王室。
汉武帝接到南越王赵兴请求内属的上书，非常高兴，立即按汉朝之例，给越相吕嘉颁发银印，并赐给内史、中尉、太傅等南越高级官吏印章，其余的官吏由南越国自行备印。此举意味着南越王国高级官员由中央朝廷直接对其进行任命。汉武帝明令废除南越野蛮的黔鼻刑罚等，推行汉朝法律，改其旧俗，同内诸侯。同时还命令使者全部留镇番禺，力求南越局势平稳。这道诏令预示着南越国将由一个独立自主的王国，变成汉廷真正的内属国了。摆太后和赵兴接旨后，喜不自禁，立即整理行装，准备人朝晋见天子谢恩。
赵兴母子的这一举动，引起了国内众臣的震怒，作为三朝承相的吕嘉更是愤恨不已。于是，赵兴母子同以垂相吕嘉为首的两个政治集团的矛盾变得尖锐起来。
吕嘉，从历史留下的点滴记载看，为越人。清代梁廷析的《南越五主传》中引用了已失传的《粤记》一书，说吕嘉“本越人之雄，佗因越人所服而相之，而南越以治”。吕嘉颇有政治才能，又很得越人的信服，赵氏王室需要他来和辑百越。赵氏王室的重用使得吕嘉感激涕零，他死心塌地为南越王国着想，备受赵氏王室的赏识。
南越国作为一个独立的割据王国，对汉称臣实际上是一种效仿周代的诸侯对于周天子似的称臣，也可以说是一种应付强敌的权宜之计。而在政治、军事、经济等各个方而，南越国是完全自主的。南越垂相的设置，则不同于同期汉朝各诸侯国的承相是由中央王朝委派，“不得与国政，辅王而已”。南越国的承相是由南越王直接任命，其实际职能应该与西汉中央王朝的垂相一样，能直接参与处理军国大事，掌有重权。自从吕嘉坐上南越承相位置之后，除赵佗时代不算，从南越的文王赵胡、明王婴齐，直至四主赵兴，在长达20多年的时间内，南越的垂相再未易人，由此可见南越的相权在吕嘉手中己达到了登峰造极的地步。到南越王赵兴时，吕嘉已经“年长矣，相三王，宗族官贵为长吏七十余人，男尽尚王女，女尽嫁