开疆辟土，是大部分有为君主的愿望；合久必分、分久必合，九州一统，是家天下时期的最高利益指向。如何实现华夏的统一，如何消灭割据一方的其他家族势力，是赵氏家族建立宋王朝之后的头等大事。
赵匡胤代周自立，并巩固了自己的统治，这就将统一全国的任务提到了议事日程上来。唐末五代以来，藩镇林立，南北分裂，割据政权较多，北方还有辽朝虎视眈眈，所以，统一天下并不容易。制定怎样的统一策略，成了赵匡胤心中的头等大事。
从当时的客观形势看，刚刚立国不久的宋王朝，周围存在着几个由少数民族建立的国家和许多由汉族建立的割据政权。在北方有契丹族建立的辽国；在西北有党项族的强大势力。夹在二者之间的则是割据山西一带的北汉。北汉受到契丹的支持，与以前的后周和现在的宋王朝一直处于公开敌对的状态。在江淮以南，则存在着南唐、吴越、后蜀、荆南、湖南、南汉等八个割据政权。虽然这些割据政权处于物产丰富、生产相对发达的地区，但由于其各自疆域狭小，又互不联合，因而大都国力不武，软弱怯懦，不得不向以前的后周和刚刚建立的宋王朝表示名义上的臣服或通好。
在这种形势下，摆在赵匡胤面前有两条路。一是乘南方诸国名义上已表示臣服的时机，继续周世宗的政策，进行北伐，收复为辽所占领的燕云十六州领土，割断辽与北汉的联系，进而消灭北汉这一公开的敌对势力，然后统一南方诸国；二是南征，在完全征服了南方八个割据势力以后，再来亡北汉，攻取燕云十六州，将契丹赶回长城以北。赵匡胤又找来赵普商议统一策略。经过君臣之间的反复论证，赵匡胤集思广益，最后，终于在建隆三年（963年）确立了“先南后北”的统一方针。
策略制定后，赵匡胤便立即付诸实施。对北方的契丹和北汉，赵匡胤基本上采取守势，力图保持北方边境的暂时安定；而南方的荆湖地区南通南汉、东距南唐、西迫巴蜀，战略地位极为重要，是赵匡胤首选的攻击目标。当时，荆湖地区有两股割据势力：一个是以江陵为中心的高继冲南平政权；另一个是控制湖南以朗州为中心的周保权集团。
乾德元年（963年），赵匡胤任命慕容延钊为湖南道行营都部署，枢密副使李处耘为都监，率安、复等十州之州兵出征荆湖，讨伐张文表。临行前，赵匡胤对慕容延钊和李处耘说：“出征湖南，必然要借道于南平，南平国势卑弱，可顺便将其攻灭。”
慕容延钊等依计而行，二月出兵湖南，途中攻破江陵。荆南节度使高继冲听说宋军俨然而至，仓皇出迎，在江陵北十五里处与之相遇。李处耘一边让高继冲就地等候慕容延钊，一边率亲军抢先入城。高继冲见宋军已分据要冲，知大势已去，不得不将其控制的三州十七县的版籍，奉表呈纳给赵匡胤。
三月，慕容延钊继续率宋朝大军进攻潭州，张文表被斩于市。武平节度使周保权知道来者不善，便准备臣服宋朝保住富贵，但遭到部将张崇富的竭力抵制。慕容延钊兵分两路，水陆并进，分别攻取了岳州和澧州。张崇富退守朗州。慕容延钊继续率军入城，擒杀了张崇富，俘虏了周保权。没费多大周折，湖南十四州、一监、六十六县也纳入了宋朝的版图。就这样，宋朝顺利灭掉了荆湖地区两个割据政权。
平定荆湖是赵匡胤统一战争的第一次战役，初战告捷，意义重大。首先，此次战役验证了先易后难统一方略的可行性，鼓舞了宋军的士气，坚定了赵匡胤统一天下的信心；其次，宋朝控扼荆湖，不仅在经济上夺得了这一中部粮仓，还在军事上掌握了西上、东进、南下的主动权，切断了后蜀和南唐的联系，使后蜀、南唐和南汉随时处于宋朝可直接打击的势力范围之内。尤其是后蜀，宋朝可以从东面的水路和北面的陆路对其实施攻击。后蜀这一雄距川中的南方大国，已处于坐以待毙的境地了。
后蜀主孟昶奢侈荒淫，政治极为腐败。宋朝吞并荆湖，孟昶知自身难保，准备向宋朝通使奉贡，但遭到大臣王昭远的坚决反对，王昭远建议孟昶与北汉结盟，约期让其发兵南下，孟昶在三峡一带驻兵迎战，使宋腹背受敌。乾德二年（964年），孟昶遣孙遇、赵彦韬等人携蜡书秘密前往北汉，欲联北汉共同举兵攻宋。
途经开封时，赵彦韬偷偷将蜡书献给了赵匡胤。赵匡胤正苦于没有伐蜀借口，见此，便认为师出有名了，于是下令攻蜀。
乾德二年十一月，赵匡胤命王全斌、崔彦进和王仁赡率六万大军分道攻蜀。临行前，赵匡胤授予诸将阵图，并特别交待宁江节度使刘光义，蜀军在夔州设了锁江浮桥，防卫甚严，要取胜，必须先夺浮桥。
后蜀以王昭远领兵抵抗，然而王昭远只会纸上谈兵，并不会领兵作战。出战迎兵之际，他夸下海口，说夺取中原易如反掌，但经过几次交战，却是屡战屡败，从利州直退到剑门。剑门是成都的重要屏障，其得失直接关系到成都的安危，孟昶得知王昭远战败，忙让儿子玄喆率兵增援。但玄喆不仅不懂兵事，沿途竟游山玩水，寻欢作乐，半道听说剑门失守，便不战自溃，逃往东川。此时，王昭远已做了宋军的俘虏。
与此同时，后蜀的三峡防线也被刘光义和曹彬的西路军攻下，刘、曹二人率领的东路军溯江而上，进抵夔州。刘光义按照太祖的指示先夺浮桥，攻下夔州，打开了由长江入蜀的大门。两路宋军长驱直入，沿途所向披靡，于乾德三年（965年）元月会师成都。孟昶见大势已去，便命献表请降。
后蜀物产丰富、府库充盈，号称“天府之国”。平定后蜀后，宋太祖特命参知政事吕余庆为成都知府，协同王全斌等人大肆搜刮。一时间，船载路运，日夜不息，大量财富被集中到东京开封。这固然加强了宋王朝的国力和财力，但同时却又激化了后蜀地区的社会矛盾，在此后相当长的一段时间里，后蜀一直动乱不已，民变、兵变相继发生，牵扯了北宋王朝很大的一部分兵力。
南汉以广州为中心，割据岭南两广地区达60年之久。开宝三年（970年）九月，赵匡胤决定攻取南汉以继续实施“先南后北”的统一方略。同年十一月，赵匡胤命潘美率军大举进攻南汉，宋军很快就攻陷了贺州，随之连克昭、杜、连、韶四州。南汉主负隅顽抗，但朝廷上下却不能团结一致。最后，南汉主任用宦官掌握兵权，以这样的军事配备对抗宋军，无异于以卵击石，很快，南汉军队就大败于莲花峰下。次年二月，宋军攻克广州，南汉灭亡。
南汉灭亡之后，南方剩下的最后三个割据政权个个自危，震恐异常。南方割据势力最强大的南唐后主李煜苟且偷安，主动要求取消国号，改称“江南国主”。但赵匡胤并未因此而改变消灭南唐的决心。
开宝七年（974年），赵匡胤要南唐后主李煜亲自到开封朝拜，李煜惧怕被宋扣留而未成行。赵匡胤便抓住这一把柄，九月，令曹彬为统帅、潘美为都监，率水、步、骑兵在采石一线强行渡江，进围金陵；同时令吴越国主钱俶统帅吴越军5万，由宋将丁德裕监军，从东面攻取常州（今江苏常州），然后会师金陵。
十一月中旬，宋军依照江南人樊若水的图示在采石用预先造好的战舰架设浮桥获得成功，其主力部队利用浮桥，顺利跨过了长江天险，大败南唐水陆兵十余万于秦淮，直逼金陵城下。十一月二十七日，在李煜仍不投降的情况下，宋军发起总攻，金陵城破，李煜做了俘虏。
进攻南唐是宋太祖统一南方的最后一仗，也是当时最大的一次江河作战。这次战争中的“浮桥渡江”、“围城打援”，不仅是赵匡胤战略部署中的得意之举，也是古代战争史上的创举。
赵匡胤运筹帷幄，针对不同的割据政权，采取了相应的统一措施，取得了一系列的胜利，充分展示了他出色的政治才能和军事指挥才能。在灭了南唐后，赵匡胤又对南方仅剩的吴越和漳泉两个割据政权施加压力，迫使它们称臣归附。
再来看宋朝与北汉的角逐。开宝元年（968年），北汉主刘钧病死，他的几个养子和宰相郭无为争权夺利，内部矛盾重重。赵匡胤认为有机可乘，便于同年八月挥师北上，并一举突破了北汉的几道防线，进逼太原城下。然而，北汉虽经历了几次执政者夺权的风波，但太原城的守将却殊死抵抗，丝毫不动摇。九月，辽军前来增援北汉，宋太祖只得撤军。北汉乘机反攻，宋朝方面自八月进军以来所占领的州县不但全部丢失，还被北汉军队打进了晋、绛二州，大掠而去。
次年（969年）二月，为雪年前之耻，赵匡胤决定亲率大军征讨北汉。战事刚开始时，北宋方面很顺利。三月，赵匡胤即率大军突破了北汉的数道防线，进抵太原城下，将其团团围住。但此后战事即进入胶着状态。宋军发起的几次强攻都被北汉名将刘继业击退。强攻不行，赵匡胤又采取了长期围困的政策，但三个多月过去了，仍没能将太原攻克。这年的闰五月，宋兵正式从太原撤兵。北汉军队又一次乘势追击，宋军丢失了大批粮草，损失比上一次还要严重。
北宋自建隆三年（962年）九月首次对外用兵起，至乾德三年（965年）正月，不到三年的时间，就平定了南平高氏、湖南周氏、后蜀孟氏三个割据政权，统一了63州一监的大片领土。但可惜的是，自平蜀后，几乎完全是由于赵匡胤个人的举措失当，导致了一系列意外的变故，先是蜀中动荡不已，紧接着又是两次北征太原损失惨重，赵匡胤“先南后北”的统一大业因此而停滞。
北宋文臣之像加图：《二十四史》p440的S1686开宝九年（976年）十月十九日，赵匡胤突然去世，其弟赵光义按照赵匡胤的既定方针，继续对吴越和漳泉施加压力，终于不动干戈，迫使吴越的钱俶和福建的陈洪进纳表献土，使两浙和福建归入了宋朝的版图。这样，南方完全统一。在此基础上，赵光义一鼓作气，公元979年（兴国四年）初，亲率大军北征，灭亡了北汉。至此，安史之乱以来中原地区200多年的分裂割据局面基本上结束。这时，离宋太祖逝世刚刚三年。
然而，赵匡胤最想击败的是辽朝，最想收复的是燕云十六州，这两大心愿都未能达成，留下了终生遗憾。同时，收复燕云十六州，也成了整个两宋时期赵氏统治者长久的梦想。但北汉的降服，使它成为了宋朝北方的一道屏障，对于抵御辽国的入侵起到了缓冲的作用。