汉越通关互市之地多设在南越国与汉朝“内属”长沙国边境线上。南越国与长沙国一面进行贸易，一面部署重兵，相互提防。赵佗认为：“高帝立我为南越王，双方互通使者和物资，如今高后听信谗言，把越人视为异类，断绝我们所需要的物资，这一定是长沙王的主张，他想依靠中原的汉朝，吞并南越，兼作南越王。”
赵佗寻思吕后很可能通过长沙国吞并南越国，于是宣布南越国与汉朝脱离臣属关系，登基称帝，自号“南越武帝”，并迅即发兵攻打长沙国，一鼓作气势如虎，连续攻克边境数县。长沙国抵敌不住，向汉朝求援。
公元前181年，吕后下令褫夺赵佗的南越王封号，派遣隆虑侯周灶将军率汉军攻伐南越国，双方正式进入交战状态。中原士卒难以适应岭南炎热潮湿的气候，军中瘟疫蔓延，大军不能逾越南岭，南越军队也无力驱逐汉军，两军在南岭一线对峙达一年之久。
公元前179年，吕后病逝，汉廷扰攘，无暇南顾，征越大军停止了进攻。
赵佗见状，号令全军追击。
金戈铁马，铠甲华胄，英雄登高一呼，百越子弟云集响应，霎时间，旌旗猎猎，矛钺森森，气吞山河。
南越国获胜，军威大振。赵佗得以扬威边境，震慑周边地区。后来赵佗用武力威胁和财物赠送的手段使闽越、夜郎、同师纷纷归属南越国。至此，南越国势力影响范围扩展至巅峰，疆域“东西万余里”。赵佗以皇帝身份发号施令，册封周边地区诸王，与汉朝成为外交姿态平等的政权。
吕后死后，在陆贾的劝说下，文臣首领丞相陈平和武将首领太尉周勃合力铲除吕氏党羽，迎立刘邦的第四个儿子代王刘恒即位，是为西汉历史乃至中国历史上名声极好的汉文帝。汉越关系进入一个新的历史时期。
赵佗自忖无力抗拒强汉，便主动向汉朝示好。他向驻扎在长沙国的隆虑侯周灶送去求和信，阐明兴兵称帝实属被吕后逼迫的无奈之举，请求汉朝停止迫害真定老家的亲人，撤出驻守长沙国的汉军，并建议以南岭为两国边界，改变两国犬牙交错的边境状况。
文帝刘恒刚刚承继大统便派出使者向诸侯和四方君长宣扬他的圣明美德，表示愿意与各方修好。当皇帝读到赵佗书的信时，他认为这是改善双边关系的良好契机，便一改吕后对南越国的政策，派人重修了赵佗的“先人冢”，设置守邑，岁时祭祀，并以优厚条件安置其亲属，赏赐给赵佗堂兄弟官职和财物，还撤走了部分驻守长沙国的汉军。
看到汉朝如此有诚意，南越国军队也逐步从边境撤离。赵佗久闻文帝仁爱，也无心恋战，打算向汉朝伸出橄榄枝。
汉廷为了彰显和谈诚意，打算选派一位德才兼备者担纲此任。文帝令陈平、周勃等群臣推荐可以出使南越国的人选。在诛诸吕中建立大功的丞相陈平建议仍以与赵佗有故交的陆贾领衔出使。于是，文帝就命陆贾再度出使南越国，要求他相机责备赵佗自立为帝，令其去除帝号，臣服汉朝。
不料，陆贾却推辞说自己垂垂老暮，难担此任。其实，陆贾不是不肯去，而是觉得汉朝对不起南越百姓，愧对昔日至交赵佗。毕竟，赵佗称帝是吕后背约导致的。赵佗家的“先人冢”和亲属都受到不公正待遇，这给这位深明大义的英雄造成了心理创伤。况且，在平定诸吕之乱时，赵佗率领的南越军分散了吕后的视线和精力。文帝是这场战争最大的赢家，而赵佗却无故受伤，文帝对这位岭南英豪也充满了愧疚和同情。陆贾请求文帝写一封情真意切的书信，由他带给赵佗，他才肯领命。文帝采纳了陆贾的建议。
公元前179年，已入暮年的陆贾再度出使南越国。
陆贾刚到南越国便训斥赵佗妄自称帝，目无天子。赵佗一看陆贾气势汹汹，十分恐惧，忙俯首向其致歉，解释道：“蛮夷大长老夫臣佗，从前吕后违背高祖之约，封关闭市，隔绝南越，害我宗族，掘我祖坟。我怀疑是长沙王进谗言所致，因此义愤填膺，率军侵犯长沙国边境。”
陆贾听赵佗致歉颇有诚意，且同情他当时的处境，便将文帝旨意告知，并取出文帝亲笔书信交予赵佗。《汉书·南粤传》记载了文帝这封言辞恳切而绵里藏针的《汉文帝赐南越王书》：
我虽为天子，可与您相比，我是晚辈。想您驰骋疆场、扬威南越之时，我还不过是一个不谙世事的懵懂少年。前辈您辛苦了。
我是高祖皇帝的庶子，本来不像嫡子那样具有承继大统的资格。我被封为北守藩篱的代王。代地路艰道险、蒙昧闭塞，未曾修书与您。高祖归天，孝惠皇帝刘盈登基为帝，见军政大权由吕后把持，只好称病不理朝政。吕后得以在汉越边境制造纷端，与您为敌，实在与我毫不相干。诸吕违背祖制，破坏嫡庶尊卑之序，妄图将其他血脉后裔立为惠帝储位，继承刘氏香火，这显然上违天意，下背民心，因而是不合法统的。幸亏仰仗祖宗的庇佑和满朝文武的拥戴，最终平息了诸吕之乱。我本无意于皇位，但朝野上下一致拥戴，我实在推脱不掉，就勉为其难了。
听说您曾写信给隆虑侯周灶将军，要求厚待您的北方亲人，罢黜镇守长沙国的两位将军。我看在您的面子上罢免了博阳侯，同时派遣使者到真定照顾您的亲人，还将您家祖坟修葺一新，设置了专门守墓的官吏，定期祭祀。
前些日子，我听说您陈兵边境，袭扰我大汉城池百姓。那个时候，国无宁日，百姓流离失所，长沙国深受其害，南郡情势尤为严重。即便您占领长沙国，那就能得到什么便宜了吗？兵戈扰攘，受苦受难的还是汉越两国百姓和两军将士。任由战火蔓延，肯定会拼杀掉更多的良将士卒，您于心何忍？那种使妻子失去丈夫，使儿女失去父亲，使父母失去儿子的悲惨事情，我实在是不忍心做呀。况且您能从这场战争中得到的比您失去的要少得多。
看到您这样倒行逆施，我本来决计发兵南征，安定南疆。可群臣对我说，先皇再世时曾与您定有和约，将岭南之地封赐与您，不可轻举妄动。我自然不能擅自改动先帝的旨意。岭南素来贫瘠，地狭人稀，物产微薄，我大汉沃野千里，人杰地灵，物产富饶。您那些土地和财富相对于我大汉国库来说实在微不足道。因而，我想岭南之地还是由您来治理吧。
尽管如此，您僭夺帝号，天下两帝并立，实在不妥当呀。天无二日，民无二主。若两虎相争则必有一伤。有争议而不谦让，这不是仁义之士应该有的啊。我愿意与您捐弃前嫌，休战罢兵，自今而起，汉越两国依然像先帝时那样通关互市，互派使节。
因此之故，我派遣您的老朋友陆贾先生传达汉廷旨意。您就接受大汉封赐的印绶，臣服我大汉吧，万万不可再发兵攻伐我国了。我让陆贾携带一些封赏之物赐予您，供您享用。
文帝信中情真意切、刚柔相济、恩威并施，一封书信抵得上十万天兵。首先，文帝肯定了赵佗的资历和功业：您是我的前辈，是与我父亲刘邦一同起兵建功的英雄豪杰。随后，解释了吕后时期政策不当导致汉越交恶，与文帝并没有干系。然后，表示理解赵佗发兵是受吕后逼迫，其实并不是真心要起兵伐汉，还获悉赵佗有求和罢兵之意。紧接着，顺水推舟，已经按赵佗要求厚待其宗族并修缮了其先人冢，暗示赵佗的祖坟和宗族都在汉朝手中，不可轻举妄动。最关键的是，文帝阐明利害关系，权衡战与和的利弊得失，让赵佗意识到若继续兴兵势必引来祸端，且南越国实在无力与强大的汉朝相抗衡。最后，文帝派遣陆贾老前辈前往招抚，送去封赏之物，只要赵佗去除帝号，向汉称臣，岭南之地仍归赵佗管辖，可以算是给足了赵佗面子。文帝此信有理有据有节，一场潜在的战争威胁就这样化解了。
赵佗读完书信，深感文帝谦恭有礼，对和战利弊分析至为透彻，对他佩服得五体投地。
于是，赵佗向陆贾扣头谢罪，表示愿意削去帝号，永远做汉朝的藩属臣子，定期向天子朝贡，为汉朝坚守南大门。他还向全国宣布：“我听说两个英雄豪杰是不能并存的，两个贤哲之人也不能共同生活在同一世界。汉朝皇帝是贤明的天子，从今以后，我除去帝号，不再乘坐唯有皇帝才能乘坐的车辇。”
清末爱国志士黄遵宪曾作《和钟西耘庶常德祥津门感怀诗》，赞颂文帝赐书赵佗安定岭南的丰功伟绩：
雷动星驰人贡车，舌人环列护爻闾。
但占风雨都来享，偶断苞茅便问诸。
宅北曾分羲仲命，绥南远赐赵佗书。
盟津八百争朝会，犹记徵祥纪白鱼。
作为对文帝书信的热忱回应，赵佗也修书一封经陆贾转呈文帝。赵佗在书信中说：
蛮夷之邦长老头目、老朽不堪的赵佗叩拜大汉皇帝陛下：我本是秦朝南越官吏，有幸受到高祖皇帝厚爱，得以拥有南越印玺，管理南越之地。孝惠皇帝即位后，出于高义不忍与敝国断绝关系，对我恩赏甚多。我诚惶诚恐，以化外之臣身份按时向汉廷朝贡，朝夕未敢废绝，从未忘记大汉恩德，行不臣之事。
然而，自从吕后临朝用事以来，亲佞臣，听信谗言，竟敢违背高祖之约对我南越国行隔绝疏离之能事。封关闭市，不肯给予我国金铁之具，即便是牛马也只给雄性不给雌性。我们深处穷乡僻壤，铁器得不到补充，牛羊得不到繁殖，田地实在难以耕种，百姓衣食无着，故而未能按时向大汉纳贡祭祀。为了和平解决纠纷，我派遣了内史藩、中尉高、御史平三位重臣前往汉廷交涉，不仅未明其果，反遭吕后扣留。我听闻远在故乡真定的祖先坟墓被掘，兄弟宗族被杀，出于义愤，才与属官商讨对策。属官们都说：“既然不能替朝廷振兴汉室，不如自立化外之国独善其身。”无奈之下，我就僭越帝号，只在国中称帝，并不敢称霸天下。吕后闻之大怒，废除南越国的大汉属籍，自此两国处于敌对态势，不再互通使节，难以直接沟通。
我私下怀疑吕后如此仇视南越国是受到长沙王的诋毁蒙蔽，十分痛恨长沙王，就率军攻打长沙国。
况且南方乃低湿之地，蛮夷交错相生。西面的西瓯国和骆越这样的弹丸之地，百姓多半羸弱不堪，尚且可以称王；东面的闽越国不过区区几千人，其君长竟敢自立为王；还有北面的长沙国，百姓多半是蛮夷，竟然也称王。我南越国疆域辽远，带甲者百万之众，攻破城池无数，却与那些弹丸小国处在同一个层次，心里实在委屈不堪。我之所以还是北向称臣，是因为不愿意背叛与高祖之约啊。我狂妄地窃取皇帝尊号，聊以自慰，怎敢将此等丑事禀告天子呢？
老朽在南越之地已经生活四十多年，现在孙子都很大了，但是我夙兴夜寐、寝食难安，实在无心欣赏奢靡曼妙的舞蹈和悦耳动听的音乐，这是因为不能为大汉效力的缘故呀。
现在幸得陛下哀怜，恢复我过去的称号，从此汉越通关互市、互遣使节，真是万民之福，社稷之幸呀。我誓死效忠汉朝，决意去掉帝号，向汉称臣，永世为汉朝藩属。
我特派使者送给皇帝陛下白璧一双，翠鸟千只，犀角十只，紫贝五百，桂蠹一件，生翠四十双，孔雀二双，请陛下笑纳。
赵佗致书文帝显然是明智之举，悬崖勒马，否则南越国将受到严重威胁。其书言辞凄切，情理交融，令人悲从中来又扼腕而叹，最终使怒不可遏而又深负愧意的汉朝君臣罢战休兵。恰如清人屈大均在《广东新语》所说：
赵佗本来是赵国贵胄，在岭南建功立业，自立为王，放弃中原冠带之制，甘心委身于蛮夷，与半人半兽的越人为伍，他的内心岂是想隔绝于中原之外呢？实在是自度不是强大的汉朝的对手，故而以鄙俗粗陋示弱，平息汉朝兼并南越的焰火。后来陆贾使越时，赵佗自我贬抑说僭越帝号只是聊以自慰，哪里敢让天下人知晓呀。其理屈词穷，居然找这么一个滑稽之至的理由搪塞责难，实际上只是怕汉朝攻伐才假装如此的。
一切如约，汉越边境恢复了往昔的宁静，汉越边关贸易逐渐繁荣起来。
后来，淮南王刘长北结匈奴，南连南越，意欲为乱。南越国表面敷衍，实际并未参与，刘长作乱并未掀起实质性风浪，这与陆贾使越缔造的汉越和平关系是分不开的。
后人用“半壁江山一纸书”来形容汉文帝和赵佗君臣之间用书信往来的形式维护国家统一，确保汉朝半壁江山和平安定。他们的传奇故事成为中国历史上一段传颂万世的佳话。
陆贾以垂暮之年再度使越，化干戈为玉帛，有效沟通了文帝和赵佗，维护了南越持久和平，可谓老当益壮啊。
后代文人对陆贾的卓越功勋着墨甚浓，评价甚高。唐代诗人徐夤咏歌怀古，追忆陆贾游越的壮举：
罩罩嘉鱼忆此方，送君前浦恨难量。
火山远照苍梧郡，铜柱高标碧海乡。
陆贾几时来越岛，三闾何日濯沧浪。
钟仪冠带归心阻，蝴蝶飞园万草芳。
陆贾再立大功，赵佗重新对汉朝称臣，每年春秋两季派遣使者到长安朝拜汉朝皇帝并纳贡祭祀，像诸侯王一样接受汉朝皇帝的诏令。
赵佗虽名义上臣汉，但在南越国内，仍然使用皇帝名号，只在遣使奉表朝拜汉君时才称臣。南越国的军政大权和人事任免都掌握在南越王手中，汉朝始终难以染指。终南越立国93年，南越国一直是汉朝的“外藩之国”而非“内属之国”，汉朝只是在南越国废除了一些酷刑和法律条文，一直未能对南越国实行有效控制。
公元前157年，汉文帝驾崩，景帝刘启即位，汉越关系依然如故，南越国未参与吴王刘濞主导的“七国之乱”。直到汉武帝建元四年（公元前137年）赵佗去世，汉越之间再未刀兵相向。