五岭险隘是南越国的门户，正如郑国的虎牢关和虢国的下阳关一样。在岭南成就霸业者务必据险守国，万万不可有失，一旦失去，再要夺取就十分困难了。南越国立国之初，赵佗之所以能扬威边境，很大程度上得力于对五岭险隘的控制。
汉军兵锋所指，南越军纷纷溃逃，重兵把守的五岭险关失守。南越国丧国的号角就吹响了。
元鼎六年（公元前111年），路博德和杨仆两路汉军主力在番禺城下会师，将番禺城围得水泄不通。
吕嘉为自己的轻敌付出了沉痛的代价，尝到了汉军的苦头，但依然坚守待援，拒不投降。
番禺城依山傍江而筑，十分牢固，汉军多次进攻都遭到挫败。某夜，杨仆军纵火攻城，一时间，满城大火，杀声震天，南越军纷纷弃城溃逃。路博德军则在城门张网以待，俘降众多，并重赏降者使其回城招降。城内南越军素闻伏波将军威名，又看到汉军优待俘虏，竞相出城投降。汉军很快攻破番禺，汉武帝的岭南方略即将实现。此时，戈船将军、下厉将军、驰义侯所率大军还未到达番禺。路博德命士兵不得滥杀无辜，全城搜捕吕嘉和赵建德。
赵建德和吕嘉见大势已去，便在重兵护卫下趁乱杀出一条血路逃出城门，向东逃窜。路博德从被俘获的南越贵族那里得知吕嘉和赵建德已经在城破之前趁乱逃走，便通令缉拿吕嘉和赵建德。
南越战争激战正酣，汉武帝正在河东巡幸，当他走到左邑桐乡听闻汉军攻破番禺的喜讯时非常兴奋，下令嘉奖三军将士，还将左邑桐乡改为闻喜县。
苍梧王赵光不知形势如何，举棋不定，闻汉军屡战屡胜，便主动投降。越桂林监居翁降汉后还劝谕瓯越和骆越属汉。同为南越国封疆大吏的揭阳令史定也顺势而降。他们都被汉朝封侯，苍梧王赵光为随桃侯，揭阳令史定为安道侯，桂林郡监居翁为湘城侯。
识时务者为俊杰。汉军兵锋所至，各郡县官吏豪强审时度势，纷纷望风归降。原南越国授权自治的西于王趁乱起义，企图拥兵自立，但很快被左将军黄同杀死，后来归顺汉朝。原南越国难以直接管辖的交趾、九真、日南一带部族首领派遣三位使者牵牛三百头，携酒一千钟，持交趾、九真、日南三郡户籍迎降。南越国灭亡已成定局。
吕嘉和赵建德率领亲兵数百人试图逃往闽越，以东越为后援继续抗击汉军。但此时执政闽越的余善首鼠两端，既不愿意吕嘉失败致使自己被孤立，又不愿意开罪汉朝祸及自身。最终，余善未敢收留，吕嘉、赵建德逃往他处。
汉军一面缉捕吕嘉和赵建德，一面筹划闽越和夜郎的处理方略。
汉朝与闽越虽然化干戈为玉帛，但东越王余善是一个不安分的人。在闽越，余善的威望和势力远超丑之上。闽越虽由二王共治，但是实权掌握在野心勃勃的余善手里，性情柔弱、势单力孤的丑犹如傀儡一般行木偶之事。汉武帝元鼎五年（公元前111年），汉朝发兵征讨南越国。余善为向汉朝献媚而主动请缨，发八千水师征讨南越国。本来，南越国是自己的仇家，余善本想趁机复仇并瓜分胜利果实，但转念一想：“皮之不存，毛将焉附。南越若亡，东越岂能独存？”便明里一手暗里一手，耍起了两面派。后来，他以海上风大浪急为借口泛舟海上，逡巡不前，还私下与南越国联络。实际上是不愿意南越国灭亡，否则下一个就轮到自己了。余善十分期待看到吕嘉打败汉军，并准备在汉军失利时落井下石，从背后捅刀子。
及汉军攻破番禺，余善并未率军赶到。汉朝楼船将军杨仆上表疏陈余善罪行，请求讨伐东越国。由于战乱日久，汉武帝以士卒疲敝为由拒绝了他的请求。次年，余善私刻皇帝玉玺，自称东越武帝，据守要塞，并入侵汉朝白沙、武林、梅岭等地。汉武帝大怒，派遣杨仆、韩说、王温舒三路并进，决心彻底平定闽越。
杨仆出征前，汉武帝使用激将法，故意以书敕责他曰：“杨将军的功劳只有攻破石门、寻峡之名，并未有斩将拔城之实，不足以引以为豪。先前攻破番禺时，捕获降卒以为俘虏，开掘死人以为斩获，是第一大过失；使得吕嘉、赵建德逃窜出城，到东越寻求援助，是第二大过失；士卒连年征战，你不顾念其苦，还搜罗珍宝，夸耀乡里，这是第三大过失；回师误期，还以道路险远为借口，是第四大过失；询问你蜀地刀剑的价格，你却不据实禀报，是第五大过失。不听朝廷号令，私自变更作战方案，该当何罪？而今东越反叛，你能率军征伐、将功赎罪吗？”杨仆诚惶诚恐，顿首再拜，表示一定鞠躬尽瘁，死而后已。
楼船将军杨仆出武林，横海将军韩说出句章，中尉王温舒出梅岭，三路主力并进，直扑东越。
此时越繇王居股、越衍侯吴阳、建成侯敖响应汉军，联手杀掉余善，向汉军投降。此战虽胜，打得却十分艰苦，东越人抵抗顽强，表现出强劲的战斗力。汉武帝认为，闽越之地多山阻险且民风彪悍，为除后患，武帝命令军吏将闽越人迁徙于江淮一带，闽越国的城池宫殿尽皆毁弃。
夜郎国臣属汉朝后，汉朝在其地设郡置县、选派官吏，还修道路、设驿站、守关隘，以强化对它的统治。汉武帝元光六年（公元前129年），司马相如奉命出使夜郎，对其多加宣抚。此番征讨南越，汉武帝令驰义侯持节选调夜郎及西南夷士卒出征南越，但执政夜郎的且兰君唯恐周边部落趁其倾巢出动时进攻夜郎，便率众反叛汉朝，杀掉使者和犍为郡太守。汉武帝见夜郎国不听号令反而杀害汉使和官吏，便于次年征发巴、蜀刑徒，由中郎将郭昌、卫广统帅攻打夜郎，诛杀且兰君及邛君、莋侯等，平定西南夷大部分地区，声威震天，在当地设置牂牁郡等，直接隶属于汉朝，但依然保留夜郎国号，以王爵授夜郎王，诸部族豪酋亦受册封。直到汉成帝河平二年（公元前27年），牂牁郡太守陈立杀夜郎王兴，立国达三四百年之久的夜郎国才最终灭亡，这个悄无声息陨落的文明古国在中原史籍记载中留下一团迷雾。
四、寿终正寝：南越古国的陨落
汉武帝元鼎六年（公元前111年），南越末王赵建德被捕获，南越全境尽入汉朝之手。由赵佗创立的南越国历经九十三年、五代南越王之后，终于被汉朝灭亡，结束了岭南与中央王朝的割据状态。
吕嘉和赵建德逃亡东越寻求支援未果，只得辗转流离，试图东遁入海。
原南越国郎官都稽料定吕嘉肯定东走商昌，便在此地设伏，果然捕获吕嘉。七旬老翁惨遭斩首，一代“豪杰”殒命归天。此时汉武帝巡游至汲县新中乡，听说捕获吕嘉，并见有吕嘉人头献上，深为欣慰，将新中乡改为获嘉县，以示纪念。
元封二年（公元前109年），汉武帝在益州郡设置“不韦县”（在今云南省保），取“不违”之意，还将吕嘉的宗族子孙全部迁居，以彰其先人之恶，绝南越后患。从此，吕嘉后裔便在不韦县繁衍生息。有人据“不韦”的县名认为吕嘉是秦朝丞相吕不韦的后代，当为误传。相传三国时期任蜀国永昌郡功曹的吕凯是吕嘉后裔，但也未得确证。
汉武帝元鼎六年（公元前111年），南越末王赵建德被捕获，南越全境尽入汉朝之手。由赵佗创立的南越国历经九十三年、五代南越王之后，终于被汉朝灭亡，结束了岭南与中央王朝的割据状态。
关于赵建德的结局，有两种说法。
一种说法是，赵建德被斩首示众，首级高悬于汉朝皇宫的北阙之上。
另一种说法是，赵建德被押解到长安，汉武帝念及过去几代南越王的情分，仍封他为术阳侯，一直扣押在长安直至逝世。赵建德的子孙被汉廷允许回到岭南，以赵建德的母亲揭阳橙女之故改姓“橙”，世代相传，后来融入黎族之中。
英勇的赵佗怎么也不会想到他的子孙们竟这样的不争气，南越立国九十三载，三分之二以上的时间由赵佗主政。赵佗死后，这个曾经不可一世的国度迅速败亡。个中缘由，发人深省。