以上三节所说，都是对外的事情。“中国本部的统一”，却是也到汉武帝手里规模才大定的。秦始皇略取南越地，置桂林、南海、象三郡，已见第一章。秦朝灭亡的时候，龙川令赵佗并了这三郡之地，自称南越武王。越国灭亡之后，“诸族子争立，或为王，或为君，滨于江南海上，服朝于楚”。《史记·越勾践世家》。秦有天下，取其地置闽中郡，粤王无诸，和他的同族名摇的，都佐诸侯灭秦有功。汉高帝立无诸做闽越王，都治，如今福建的闽侯县。惠帝又立摇做东瓯王。如今浙江的永嘉县。前一三八年，闽越攻东瓯，武帝发兵救之，兵还没有到，闽越兵先已退去，东瓯请“举国内徙”。于是徙其人江淮间，东瓯的地方就空了起来。前一一二年中国灭掉南越，又灭掉东越，福建、广东两省，就永入中国版图。
当时又有所谓西南夷，《汉书》叙述他的形势是：
南夷君长以十数，夜郎最大。如今贵州的桐梓县。其西，靡莫之属以十数，滇最大。如今云南的昆明县。自滇以北，君长以十数，邛都最大。如今四川的西昌县。此皆椎结，耕田，有邑聚。
其外，西自桐师以东，北至叶榆，名为隽、昆明。如今云南的大理县。编发，随畜移徙，无常处，亡君长，地方可数千里。自隽以东北，君长以十数，徙，莋都，最大。徙，如今四川的天全县。莋都，如今四川的清溪县。自莋以东北，君长以十数，冉最大。如今四川的茂县。其俗或土著，或移徙，在蜀之西。自以东北，君长以十数，白马最大。皆氏类也。
以上所述，第一类是濮族（倮罗），从黔江流域到金沙江流域。文明程度最高。第二种大约也是氐羌一类。因为若是粤族，便要断发，氏羌则或编发（就是辫发）或被发。又粤族本居沿海，没有畜牧的。这一族人“随畜移徙”，明是从北方高原之地迁来。所以知道他是氐或羌族。在澜沧江流域。文明程度极低。第三种是氐族，在岷江、大渡河流域和嘉陵江上源。
汉武帝时，有一个人唤做唐蒙，出使南越。南越人请他吃蜀的“枸酱”，唐蒙问他你这枸酱从什么地方来的，南越人说：从夜郎国里，走牂牁江来的。如今的北盘江。唐蒙才晓得走牂牁江可以通南越。回来时候，就上书武帝。请通夜郎，以为是“制粤一奇”。武帝就拜唐蒙做中郎将，去晓谕夜郎。于是把夜郎的地方置了个犍为郡。隔了几年，公孙弘做了宰相。说“事西南夷繁费”，于是“罢事西南夷”。后来张骞从西域回来，说在大夏时看见蜀的布和邛的竹杖，问他从什么地方来。他说从身毒国来的。如今的印度。如此看来，从蜀走西南夷，一定可通身毒，到得身毒，就可以通大夏。这一条路，比走“匈奴中”安稳得多了。于是再事西南夷，要想找通身毒的路。找了几年，到底找不到。伐南越这一年，发了夜郎的兵沿牂牁江而下。夜郎等国起初以为汉朝离他远，断不能占他的地方的。且乐得弄些缯帛，所以都听了唐蒙的话，愿意等中国去置郡。到这时候，见中国要发他的兵出去打仗，就有些不愿意，于是夜郎附近的且兰如今贵州的平越县。先反，给汉朝打破了，把他的地方置了个牂牁郡。于是“西南夷振恐”，纷纷都请“置吏”，就邛都、越巂郡。莋都、沈黎郡。冉、汶山郡。白马武都郡。的地方都置了郡，后二年，又灭掉了滇，把他的地方置了个益州郡。
从汉武帝通西南夷之后，云南、贵州也算入了中国的版图，本部十八省的规模就此定下来了。然而因“枸酱”而通西南夷，因“蜀布”、“邛竹杖”而再事西南夷，都是以商人的贩运为其动机的，这种事情，研究起来觉得殊有趣味。