武陵，位于洞庭湖西南一带，四面多山，山下有五条小溪：雄溪、樠溪、酉溪、潕溪、辰溪。这五条溪附近，都是蛮人居住的地方，称为五溪蛮。相传蛮人是槃瓠的后代，槃瓠是犬名。古时候，高辛氏帝喾多次征讨犬戎，犬戎中有个吴将军，勇敢绝伦，无人可敌。帝喾悬赏缉拿，说谁能取下吴将军的人头，就把小女儿许配给他。部下还是无人敢去，宫中有一条犬，身上的毛有五种颜色，取名为槃瓠，虽然不会说话，却暗通人性。它悄悄地潜到犬戎寨里，咬死吴将军，衔着他的头颅回来报功。帝喾认为犬虽然有功，毕竟是畜生，不想兑现诺言。他的小女儿却自愿嫁给槃瓠。槃瓠与帝喾的小女儿一同进入南山，结为夫妇，生了六男六女，互为配偶，后代日益繁盛。汉朝历代都任由他们自生自养，只有当他们出来骚扰汉境时，才用兵围剿。
建武二十三年，蛮酋单程等人又出来掠夺郡县，武威将军刘尚奉诏讨伐，沿途遇到蛮众，一赶便走，势如破竹。刘尚以为蛮众无能，就长驱直入，想乘机捣毁他们的老巢，谁知越走越险。此时正是建武二十四年春天，武陵一带潮气很重，瘴气熏人，军士不堪疲乏，刘尚也觉得难以支撑，正想退回，蛮峒中忽然钻出许多蛮人，蜂拥前来。刘尚来不及逃回，只好拼命作战。怎奈敌人数不胜数，霎时间把刘尚军围住，刘尚及部下全部被杀，无一人生还。
蛮众打了胜仗，更加肆无忌惮，出兵攻打临沅。临沅县令上书告急，光武帝于是派谒者李嵩及中山太守马成，领兵前去支援。虽然保住了临沅城，因担心重蹈刘尚的覆辙，汉兵不敢轻率追击。光武帝等了几个月，不见有捷报传来，就与群臣谈起此事，很是忧虑。伏波将军马援已从襄国回朝，听说蛮众未被扫平，又请命出征。光武帝见他年老，不想答应。马援不等他说完，便走到殿外，把铠甲穿在身上，又让卫士牵来战马，一跃而上。光武帝在殿内瞧见，不禁大为赞叹，随即命马援出征，率同中郎将马武、耿舒、刘匡、孙永等人，以及将士四万多人前去平蛮。老朋友多去相送，马援对谒者杜愔说：“我身受国恩，年纪大了，常常担心不能报恩，现在领命南征，万一不利，死也瞑目了。只是担心有些人在皇上面前进谗，难免留下遗恨啊！”杜愔听了这话，觉得不祥，只是不便说什么，就劝慰了马援几句，然后道别。
马援前次北征，曾规劝过梁松、窦固二人，二人心中暗自怀恨。其实马援与二人的过节，还不是只为那一件事。马援的侄子马严、马敦都喜欢非议大臣，马援很担忧，每次出兵时，都劝他们要学习龙伯高，不要学习杜季良。龙伯高名述，当时为山都长；杜季良名保，为越骑司马。不久，有人弹劾杜秀良妖言惑众，并连累到梁松、窦固，说他们与杜季良交往颇多，行为不法，又以马援劝诫侄子的书信作为证据。光武帝因此责备梁松、窦固，并出示马援的书信，梁松、窦固把头磕破了，才被免罪。光武帝又将杜季良罢免，提升龙伯高为零陵太守。经过这件事，梁松与窦固都痛恨马援，梁松更甚。马援也知道二人恨他，担心他们从中进谗，才与杜愔谈起。不过因皇命在身，也顾不了这么多，所以领军南下，冒险向前，途中饱经风霜。
到了下隽，已是冬尽春来。马援在下隽县城中度过残年，便从下隽出发，走到临乡。临乡距壶头山约几十里，蛮众听说马援前来，慌忙出来堵截，被马援斩杀两千多人，蛮众都向竹林逃去。马援令将士四处追寻，却不见一人，于是又向壶头山进军。壶头山高一百里，宽三百里，是著名的天险，再加上水流湍急，千回百折，几乎没有一片坦途。过了很长时间，才找到一块平原，扎下营寨。马援抬头望去，见蛮众已在高冈上守着，堵住隘口，纵有千军万马，一时也杀不上去。马援只得耐心守着，伺机行动。可是一住数日，都没有找到机会，天气忽冷忽热，很多士兵染病身亡，马援也染上病。有时听说蛮众前来挑战，马援喘气都困难，还要三令五申，激励将士。部下见他这样，无不叹惜，有些人甚至流下了眼泪。中郎将耿舒是建威大将军耿弇的弟弟，因为自己的建议没被听从，心中愤愤不平，就写信向耿弇抱怨。
耿弇看了书信，怕耿舒困在蛮中，连忙将原信上奏。光武帝于是封梁松为虎贲中郎将，让他带着诏书指责马援，并担任监军。梁松抵达壶头时，马援已经病死，梁松正好借机报复，飞书上报，不但弹劾马援贻误军机，还诬告马援在交趾时曾取得无数珍宝，满载而归。与马援同行的马武等人也上书诋毁马援，说马援载着宝物还朝。光武帝信以为真，立即派人收回新息侯印，还想追论马援的罪责。马援的灵柩运回后，妻子不敢报丧，只在城西买了几亩田地，将他草草下葬，他的老朋友也不敢前来悼念。马援的妻子怕遭到谴责，便与马援的侄子马严进宫请罪。光武帝拿出梁松的书信，让他们自己读。马援的妻子这才知道马援是被梁松诬告，连忙上书喊冤，一连上了六次，才得以从宽发落。
原来，马援在交趾时，曾将当地特有的粮食买了几斛运回家中。哪知梁松等人却诬告说是珠宝，马援的家人几乎遭遇大祸，同僚也不为他说一句话。还是前云阳令朱勃，因为与马援同郡，才上书为马援诉冤。光武帝这才准许马援葬回原来的坟地。好在武陵蛮人已经乞降，由监军宋均奏报，于是马援的事便不再追问了。
说起来，蛮人能够乞降，不得不归功于马援。马援在壶头几个月，将士困顿不堪，蛮众登高拒守，不能下山，也饥困得很。谒者宋均本在马援的营中监军，探知蛮众疲惫，想假传诏令劝他们投降。只是当时马援已死，军中无主，没人敢赞同宋均的提议。宋均毅然说道：“将在外，军令有所不受，只要是对国家有利的，擅自做主又有何妨。”于是调伏波司马吕种带着假诏书，来到蛮人营中。一面又鸣鼓张旗，装作要进攻的样子。蛮众首领单程不免惶惧，因此与吕种定约，情愿投降。吕种禀报宋均，宋均又邀单程相见，将他好言安抚一番，然后班师回去。途中先派人上书，说明自己假传诏令的罪过。光武帝没有追究宋均的罪过，反而赐给他很多财物。不过马援的四个儿子，都没有得到封赏，马援下葬后也没有追加谥号。
当时大司空朱浮被罢官，光禄勋杜林升为大司空。杜林上任几个月就去世了，大司徒蔡茂也死了。于是提升陈留太守玉况为大司徒，太仆张纯为大司空。不久，玉况也去世了，光武帝又想起以前的提议。原来，前建义大将军朱祐曾上奏说唐虞时代，契是司徒，禹是司空，并没有大字，圣贤尚且不敢称大，应令三公都去掉大字，光武帝当时没有批准。此时朱祐已死，他递上的书信还在，又逢蔡杜等人接连病逝，光武帝也认为大字不祥，就下令二司不能称大，并改大司马为太尉。还将行大司马之事的刘隆免去，另封太仆赵熹为太尉，大司农冯勤为司徒。
赵熹与冯勤没有太大的功劳，只是因为伴随御驾多年，才得以提拔。司空张纯是前汉富平侯张安世的玄孙，世代袭承封爵。建武五年，他率领颍川骑兵，平定荆、徐、扬各州，管理粮道，接济众将的军营，颇有战功，此后又屯田南阳，迁升为五官中郎将。有人上奏说前代列侯，如果不是宗室，不应复国，光武帝因张纯有功劳，不忍削夺，只改封他为武始侯，食邑减半。
光武帝注重安民，不喜欢多事，所以中原平定后，只任用两三个老成的人作为三公。如蔡茂、杜林等人虽然不能与开国功臣相比，但太平年代，能够守法奉公，也算是称职了。这期间，也出了几个著名的官吏，如桂阳太守卫飒、九真太守伍延、卢江太守王景，都是百姓称颂的好官。
匈奴日逐王比自立为单于，向汉称臣，当时人们称他为南单于。光武帝特派中郎将段彬、副校尉王郁，前去赐给南单于玺印，并且准许他在云中居住。南单于欣然领命，然后派遣儿子到都城，上书谢恩。光武帝嘉奖南单于，让他迁居到西河郡美稷县，并封段郴为中郎将，王郁为副将，嘱咐他们防守西河，拥护南单于。南单于也设置诸侯王，帮助汉朝防卫边关。云中、五原、朔方、北地、定襄、雁门、上谷、代八郡的边关百姓，以前因躲避战乱，迁往内地，现在光武帝赏赐给他们钱财，将其全部遣回原地。
北匈奴单于蒲奴，担心南单于领着汉兵乘机攻击，就将以前掠夺的汉民陆续放回，并派人到武威郡乞求和亲。武威太守据实上奏，光武帝令群臣商议，好几天也没有决定下来。皇太子刘庄进言说：“南单于刚刚归附，北匈奴怕受到讨伐，所以前来请和。如果突然答应，南单于恐怕会有二心，不如不接受。”光武帝于是传令给武威太守，谢绝来使。朗陵侯臧宫、扬虚侯马武联名上书，请求攻打北匈奴，光武帝没有依从。
第二年是建武二十八年，北匈奴再次派人请求和亲，献上羊马等，并请求率领西域各国一同朝贡。