宋朝建立后，其西北边尚有割据今山西中部和北部地区的北汉政权。它以太原为中心，尽管是“地狭产薄”①，国势并不强盛，然而由于依附于契丹族，得到了辽朝的扶植和保护，声势壮大，竟得以于五代后期的动荡局面中维持住自身的统治。宋廷在制定消除分裂割据，实现一统天下的战略时，不得不考虑到“太原（指北汉）当西北二面，太原既下，则我独当之”②，而采取“先南后北”、“先易后难”的战略，姑且先搁置北汉，而集中兵力翦除南方诸割据政权，以统一南方，完成第一步战略后，再北上灭亡北汉。
不过，由于北汉毗邻宋朝，威胁很大，因而赵匡胤曾一度设想先用兵太原。即使是统一的战略制定后，其主观愿望仍想寻找战机，一举消灭之。北汉自建立后，始终是“土瘠民贫，内供军国，外奉契丹，赋繁役重，民不聊生”③，国内统治极不稳定。宋开宝元年（968），北汉主刘承钧病亡，由其养子刘继恩继位为帝，此举立刻招致北汉统治集团内部的权力之争。赵匡胤认为有机可乘，遂部署出兵征伐，令昭义军节度使李继勋等将领率兵北上。九月，宋军一路征战，屡败北汉军，直逼太原城下。北汉更陷入混乱，权臣郭无为谋杀了刚即位的刘继恩④，拥立其弟刘继元为北汉主。且火速派人向契丹求援，以解救太原之危难。辽穆宗迅速派兵入援，宋军腹背受敌，无功而还。
宋与北汉的初次交锋虽未达预期目的，但赵匡胤仍不肯罢休，依旧寻机出兵灭亡北汉。二年二月，他再次决定发兵，又作了周密的部署：令李继勋为河东行营前军都部署，侍卫步军指挥使党进为前军副都部署，宣徽南院使曹彬为都监，棣州防御使何继筠为石岭关部署，建雄军节度使赵赞为汾州路部署，统兵正面进攻北汉。又令彰德军节度使韩仲赞为北面都部署，彰义军节度使郭延义为副都部署，领兵北上防御辽军南下救援。各路人马由赵匡胤亲自统帅，自潞州（治今山西长治）北上。首战，李继勋于太原城下大败北汉军。赵匡胤随后亲临城下，仔细察看城池地形，认为可以引汾河水灌淹太原城，遂下令沿汾河修筑长堤。又于太原城外四周构筑营寨，部署兵力，以李继勋驻军城南，赵赞驻军城西，曹彬驻军城北，党进驻军城东。宋军将太原城团团围困后，随即北引汾河水灌城。
太原告急，求助辽帝，辽廷遂再次出兵入北汉救援。何继筠指挥宋军奋力截击，于阳曲（今山西太原北）击败辽军，斩首数千级，暂时阻止住辽军的南下。赵匡胤令兵士将所获辽军首级、铠甲陈列于太原城下，以示北汉君臣尽早投降。然而，辽军此次救援北汉，分兵二路：一路人援太原，一路则入侵宋境，以此分散、牵制宋军，达到救援的目的。韩仲赞虽于定州（今属河北）北与辽军交战获胜，但形势依然十分危急。赵匡胤令兵士连续猛攻太原，守城北汉兵拼死抵抗，宋军伤亡惨重，“诸军欲登城以死攻，上愍之，不允”⑤。赵匡胤见太原久攻不下，遂下令决堤，水淹太原城。辽军亦加紧攻势，宋朝边境频频告急。尽管太原城下已激战数十日，终未能攻陷，宋军疲惫不堪，且形势日趋严峻，无奈，赵匡胤只得下令撤军。临撤退时，他又下令将北汉境内数万百姓迁往山东，以削弱北汉实力。宋军撤离太原后，又分兵赴镇州（治今河北正定）、潞州镇守，并于河北广筑城池据点，以防御辽军南下。
此次战役的失利，表明宋朝尚不具备彻底消灭北汉的实力，因而，赵匡胤只得暂时放弃这一意图，按照既定的“先南后北”、“先易后难”的统一战略，调兵遣将，集中兵力先统一南方。‘宋太平兴国三年（978），经过十余年的征战，宋朝消灭了南方诸割据政权，统一南方的大业已告结束。宋太宗赵光义便继续赵匡胤未竟事业，决定再度征伐北汉，实现统一天下的夙愿。四年，他派遣官员分赴国内各地，征调粮草、军械，陆续运往太原行营，以备战争之用。随后又任命宣徽南院使潘美为北路都招讨制置使，河阳节度使崔彦进、彰德节度使李汉琼、彰信节度使刘遇、桂州观察使曹翰各配以卫府将帅，领兵四面进讨。又以侍卫马军都虞侯米信、侍卫步军都虞侯田重进并为行营指挥使，率领所辖马军、步军为后续；西上阎门使郭守文、顺州团练使梁迥负责监护。鉴于太祖征伐北汉，失利于辽军救援的教训，赵光义特任命云州观察使郭进为太原石岭关都部署，专事阻击燕州（治今北京西南）、蓟州（治今天津蓟县）人援北汉的辽军。经过一番精心周密的谋划和部署，二月，赵光义离开京城，指挥各路人马，浩浩荡荡进兵北汉。
三月，战争全面展开。首战，郭进率先攻克西龙门砦，俘获北汉将兵甚众。随后又于石岭关南大败辽军援兵。宋左飞龙使史业亦大败北汉鹰扬军。党项族拓蹬部首领，夏州节度使李继筠也率部东进，助宋进攻北汉，并分兵阻击辽军。北汉军队不敌宋军的猛烈进攻，连失重镇，节节败退。于宋军捷报频传之际，为防止辽军趁宋朝后方空虚入侵骚扰，以尽快消灭北汉，赵光义又以孟玄韶、则廷翰为兵马都钤辖，崔翰为总领马步军，一同驻守镇州，以增强御辽兵力。
四月，赵光义亲临前线，指挥宋军全线出击，对北汉发起强大攻势，先攻占岢岚军（今山西岢岚），俘获军使折令图；又克隆州，俘虏北汉招讨使李询等将；再克岚州（治今山西岚县北），斩杀北汉宪州刺史郭翊，擒获夔州节度使马延忠。很快，宋军便推进到太原城下。赵光义下诏，令北汉主刘继元献城投降，刘继元借城防拒守，不肯束手就擒。赵光义随即下令，命诸将领指挥兵士发射机石攻城，并于太原城外遍筑营寨，相连为城，将太原城团团围困，层层封锁。
五月，宋军首先进攻太原城西南，经过浴血奋战，攻陷羊马城，生擒北汉宣徽使范超。进而，又于城西北发起猛攻。在宋军的猛烈攻势下，北汉政权孤立无援，朝野上下人心惶惶，太原城危在旦夕。北汉指挥使郭万超见大势已去，遂出城投降。宋帝诏令太原城守军投降，然而诏书传入城中，却未见有何动静。宋军便再度攻城，将士人人奋勇当先，攀援城墙，拼死杀敌，北汉兵士已难以抵挡，攻克太原城指日可待。刘继元深感覆灭将临，已无计可施，连夜派遣使臣出城，面见赵光义，表示愿意归顺宋朝。第二天，刘继元率北汉文武大臣，出城投降。至此北汉灭亡。
北宋削平北汉，又得10州、1军、40县、户35220，亦基本实现削平割据，一统天下的战略，更由此结束五代十国分裂割据的社会局面和历史。此后，赵光义又命祠部郎中刘宝勋知太原府，调整更定原北汉所辖州县。并对投降的原北汉将校官吏给予优厚的赏赐和待遇，原北汉主刘继元授封为右卫上将军、彭城郡公。为庆贺平定北汉大捷，赵光义特作《平晋诗》，令随从大臣和韵。遂又将自己于太原的行营更名为“平晋寺”，令匠人将己所作《平晋诗》刻石立于寺中，以示自己克复天下的志向和豪情，故而史称之“帝沉谋英断，慨然有削平天下之志”⑥。
注释
①《长编》卷四。
②《宋史》卷二五六《赵普传》。
③《资治通鉴》卷二九○。
④《宋史·太祖纪》则称，“北汉供奉官侯霸荣弑其主继恩”。
⑤《宋史》卷二《太祖纪》。
⑥《宋史》卷五《太宗纪》。