太平兴国四年（公元979年）正月,南方全部归顺。宋太宗召集大臣商议讨伐北汉之策。宰相薛居正等许多朝臣反对讨伐北汉。薛居正说:“当初,周世宗举兵进攻,北汉依靠辽的支援,坚守城池按兵不动,周只得撤兵。后来,太祖在雁门以南打败辽人,将其百姓都安置在黄河洛水之间。北汉已经没有多大力量,得到它也不能增加多少国土。请阱下慎重考虑事。”“周世宗时,在石岭关失利,军心动摇,不得不班师回朝;太祖时，因士兵多患腹病才不得不退回,并不是北汉的城防坚不可摧。”宋太宗问:“那么我现在出兵北伐,你认为如何呢?”曹彬回答道:“如今国家兵精将勇,人心统一,铲平太原,易如反掌。”宋太宗于是下定了讨伐北汉的决心。
十日,宣徽南院使潘美为北路都招讨制置使,桂州观察使曹翰攻城西,河阳节度使崔彦进攻太原城东,彰德节度使李汉琼攻太原城南,彰信节度使刘遇攻城北,形成对太原的包围之势。最难攻的是城西,因为这里是北汉主的宫城所在,曹翰道:“我只是个小小的观察使,官位低于节度使刘遇,应该让刘遇攻打西。”刘遇不肯,曹翰执意要换,难以决定,后来太宗给了曹喻一顶“智勇双全”的高帽子,并说城西非卿不可攻破,曹翰才勉强答应。
十一日,命云州观察使郭进为石岭关都部署,负责堵截契丹援兵。派田仁朗、刘绪负责侦察太原城及其周围的军事设施,并置办攻城器材，军队部署完毕,十五日潘美辞行,太宗在长春殿设宴,面授讨北汉机宜,要他依计行事。
二月十五日,宋太宗御驾亲征离开汴京,前往太原,宋对北汉二度大规模伐开始了,十八日,车驾到达澶州(今河南县),太仆寺的官员宋捷在路边迎接。宋太到这人的名字,兴高采烈地说:“此使必胜了。”于是封宋捷为将作监丞。
四月二十二日,赵光义率军抵达太原城下,驻扎在汾水东岸。二十四日黎明前,赵光义亲到城西督军攻城,战斗非常惨烈。五月一日,城外的羊马城被攻破。北汉宣徽使范超出城投降,宋军以为他出城迎战,将其生擒问斩。三日,北汉马军都指挥使郭万超又出城投降。
四日,赵光义到城南巡视督战,慰问众人说:“明天端阳节,我们到刘继元的宫殿吃粽子庆贺节日,怎么样?”将士一齐欢呼道:“好!”如此一来,士气更加高涨。第二天,赵光义又到城南督战,将士争先抢攻,伤亡惨重。赵光义见土兵红了眼,知道攻破后,他们一定会屠杀百姓,这与“圣天子”的德行相违背。由于太祖死的突然，他当皇帝也不合传统,朝野间对此议论颇多。在这当口若发生屠城的事,实在不利于自己的威名。因此,眼看即将破城,便命将上退回,传命城中:“最好自动投降!”
北汉将士仍要固守,退休宰相马峰正卧病在床,闻讯,命人抬着他去见北汉主，含泪劝说刘继元投降，北汉主刘继元见大势已去，到次日凌晨,带领官属,向宋太宗投降。赵光义照例赦免了他的罪过，并且好生抚慰了一番，并封刘继元为右卫上将军,彭城郡公,其他投降的北汉臣僚也都的到了晋封。北汉自刘崇称帝割据了二十十九年后灭亡。
北汉灭亡后，赵光义下令毁掉了太原城，并将城内的僧道富户迁入洛阳。五月十八日，赵光义登上太原城北的沙河门楼，派人分片驱赶城内居民迁徙，并纵火烧屋，许多老弱之人被烧死在城中。太原百姓为统一付出了沉重的代价。另一方面，北宋攻灭北汉，结束了唐末以来的军阀割据局面，为南北经济文化交流创造了条件，也使得人民摆脱了军阀混战的悲惨生活，总体来说，功还是大于过的。
