宋朝建立的时候，北方有实力强大的辽朝，太原有北汉，南方有南唐、吴越、后蜀、南汉、南平（荆南）、湖等小朝廷。赵匡胤登基第四年（963年），就开始了统一全国的战争。当年周世宗制定的政策是先北后南，逐个平定。赵匡胤根据诸政权北强南弱，而且江南富庶的情况，决定改变周世宗的策略，制定了“先南后北”的统一方略。他的想法是：先夺取巴蜀，然后是广南和江南，这样国家的费用就很充足。北汉和辽接界，如果攻北汉，就要面对强大的辽国。倒不如留下北汉，让他充当我北方的屏障，等我富足了再去取他。这一计划，是先平定南方，以南方的物资财富做基础，解决国家财政匮乏的问题。同时，避免与辽决战，以积蓄力量，等待时机。事实证明，这一策略是极为明智的。当时，辽朝正处于上升阶段，生气勃勃，如果宋人一开始就直接与辽为敌，两虎相斗，必有一伤，其后果将是无法想象的。
赵匡胤对南方的用兵，从荆南开始。荆南节度使驻江陵府（今湖北江陵），据有其周围小块地区。962年（建隆三年）十一月，荆南节度使高保勗死，遗命传位给侄子高继冲。出使荆南的宋使回朝报告：“高继冲虽然兵甲整齐，但总共只有三万军队，虽然年年丰产，却剥削太重。他四面受敌，日不暇给。要夺取他是很容易的。”正好这时据有湖南的武平节度使大将张文保起兵，反对继任节度使的11岁的周保权的事件。周保权遣使向宋求援，给宋朝出兵提供了借口。赵匡胤高兴地对宰相范质说：“江陵是个四分五裂的小国，现在我出师湖南，借道江陵，乘机将其占领，简直是一个绝妙的办法！”963年（乾德元年）正月，宋朝大将慕容延钊率领10州之兵向荆南进发。宋军来到江陵，高继冲派其叔父高保寅前往犒师。当晚，慕容延钊留高保寅在帐中喝酒，同时，密派轻骑数千直扑江陵城。高继冲得知宋骑前来，急忙到城北15里处迎接。宋将令其在此等候慕容延钊，同时，宋军前锋迅速进入江陵城。等高继冲醒悟回归时，只见城池内外，布满了宋军的旌旗兵马。于是，高继冲只得到宫中取出印信图册，向宋投降。荆南就这样平定了。这时，周保权手下的将领杨师璠已经灭了张文保，将他枭首食肉。慕容延钊平荆南后，却继续南下，攻克潭州（今湖南长沙），向朗州（今湖南常德）进发。湖南将领张从富据州抵抗，双方相持不下。宋军强攻澧水据点，获胜。宋副将李处耘命令部下，将俘虏中的几十名肥胖者杀了吃肉，少壮者在脸上涂矾刺字放回。这些被黥面者回到朗州城，说起宋军吃食俘虏肉的情景，听者无不心惊胆战，纷纷弃戈而逃，守卫空虚。宋军长驱入城，湖南又平。宋军占领荆、湖以后，左为南唐，右是后蜀，南接南汉，形势对宋十分有利。
平定后蜀的战役，表现了赵匡胤运筹帷幄决胜千里的非凡指挥才能。后蜀是据有今四川地区，以成都为都城的一个腐朽的割据政权，其国主孟昶生活奢侈淫逸，连他的小便壶都是镶嵌7种宝石的金壶。刚刚平定湖南，赵匡胤就派张晖任凤州（今陕西凤翔县东）团练使，专门负责探听蜀中情况。赵匡胤根据张晖绘制的后蜀山川形势军队部署地图，制定了进军路线和作战计划。后蜀主孟昶惊慌不安，于964年（乾德二年）写信给北汉，相约双方从南北两面，联合攻宋。使者所持封在蜡丸中的密信，被宋人查获。赵匡胤得此蜡书，喜出望外，说：“这下子出兵有理由了。”十一月，宋以忠义节度使王全斌为凤州路行营前军兵马都部署，以武信节度使崔彦进为副都部署，王仁赡为都监，又以宁江军节度使刘光义为归州（今湖北秭归）路行营前军兵马副都部署，曹彬为都监，总共统兵6万，分别从凤州和归州同时向后蜀挺进。行前，召开军事会议，根据军事地图进行部署，将帅们信心百倍。赵匡胤指着地宋灭南平、武平、后图上的夔州（今四川奉节），对刘光义说：“江上有锁江工事，你不可用水师与他争胜，应先派步骑偷袭，侍其退却，再用战船夹击，可保必胜。”又向诸军下令：“凡攻克城寨，只将兵器粮草充公，所有财帛都分给士卒。”蜀主闻讯宋兵来攻，急派王昭远为西南行营都统，领兵拒战。王昭远好读兵书，但从来没有过战功。出发前，他挥臂吹嘘道：“我此行不仅必然克敌，夺取中原也易如反掌！”到战场以后，他自比诸葛亮，手持铁如意指挥军队，却三战皆败，不得不退保剑门（今四川剑阁北）。宋军一部由小路前往偷袭，克复剑门。王昭远退屯汉坡源，见宋军大队前来，心惊腿软，竟坐在马扎上站不起来。后来，他逃到东川，被宋骑兵俘获。东路宋军统帅刘光义依皇帝之计而行，没有费多大力量就夺取了江上重镇夔州，使后蜀腹背受敌。东、北二路宋军一路斩关夺寨，连降诸城。王全斌进军汉州（今四川广汉），965年（乾德三年）一月十三日，孟昶遣使向宋军投降。王全斌进入成都，刘光义等随即引兵来会，后蜀平定。宋军从出兵到灭后蜀，总共只用了66天。
南汉是据有今两广及湖南南部，以广州为都城的割据政权。南汉主刘钅长昏庸淫秽，每天与宫人波斯女淫戏后宫，还以烧煮、剥剔、刀山、剑树等酷刑为乐，政事全由宦官龚澄枢和才人卢仙钅长把持，黑暗至极。
964年（乾德二年）九月，宋将潘美、丁德裕等攻克南汉的郴州（今湖南郴县），俘获其内侍余延业。赵匡胤向他询问南汉情况，得知其政治黑暗，剥削残重，刑法酷虐，民不聊生，惊骇地说：“我一定要解救这一方的百姓。”当时，宋军正倾全力灭蜀，尚无暇于此。970年（开宝三年），南汉军队北犯道州（今湖南道县）。赵匡胤向南汉主致书，令其归还所占湖南诸地，南汉主回书出言不逊。宋于是以潘美为桂州道行营都部署，尹从珂为其副，讨伐南汉，连克贺州（今广西贺县）、昭州（今广西平乐）、桂州（今广西桂林）、连州（今广东连县）。南汉主刘钅长闻讯，对手下人说：“这些地方本来就是湖南的，宋军得到也就满足了，不会再往南打的。”宋军继续南进，十一月，两军在韶州（今广东韶关）莲花峰下相遇。南汉军10余万，前队以大象为乘骑，每象载10数名士卒，手持兵杖，以壮声威。潘美集中全军强弩手一齐向象队发射，大象受伤狂奔，踏伤后队的士卒，宋军乘势冲锋，大获全胜。次年正月，宋军连克英州（今广东英德）、德州（今广东南雄），南汉都统潘崇彻率部投降。二月，宋军逼近广州城，刘钅长求和，潘美不许。刘钅长将金银珠宝和妃嫔装了10多条大船，准备入海逃跑。宦官乐范及其卫兵1 000多人将船盗去，逃走。南汉招讨使郭崇岳据水抵抗，又败。宋军迫近其寨。潘美对诸将说：“敌人编竹木为寨，只要放火焚烧，敌军必乱，我军可乘机夹击。”于是连夜乘风纵火，烽烟四起，南汉军大败，郭崇岳死于乱兵。守将龚澄枢、李托为了不让宋军得到珍宝，竟在城内放火，一夜之间，将府库宫殿全部烧毁。天明，刘钅长出城投降，潘美率宋军进入广州城，南汉平定。
南唐以金陵（今江苏南京）为都城，据有今江苏、安徽、江西及福建西部，地域较大，物产富饶。南唐主李璟从宋朝建立就奉表称臣，进贡大批珍宝。961年，李煜继位后，仍不时进贡称臣，十分恭顺。971年宋灭南汉以后，李煜大为震惊，急忙上表宋朝，请求取消国号，改唐国主为江南国主。赵匡胤想伐灭南唐，却苦于找不到借口。974年（开宝七年），赵匡胤遣使召李煜来汴京朝见。李煜恐怕被扣留，不敢入朝，反而请求册封。赵匡胤于是在九月任命曹彬为西南路行营都部署，潘美为都监，发兵10万，进击南唐。由于王全斌伐蜀时杀死许多降卒，所以，当曹彬等人辞行时，赵匡胤特别告诫：“江南的事，全部委托给你了。千万别暴掠百姓，务使其自动归附。”又说：“城破的时候，不许杀害平民。如果敌军顽抗，也别伤害李煜一门。”并且授给曹彬一只佩剑，说：“副将以下，凡不听号令的可以当场斩首。”在池州（今安徽贵池）土人樊若水的引导下，宋军主力乘数千条黄黑大龙船，由江陵顺江东下，入池州，在铜陵打败江南兵，向采石矶挺进。宋军按照樊若水的设计，用大绳将巨舰连接成浮桥，步兵过江，如履平地。宋军水陆并进，于975年（开宝八年）二月全部列阵于金陵城外。南唐将领对其主封锁消息，李煜每天在后宫与道士谈经，不问政事。一天，他亲自巡城，见宋兵旌旗遍野，惊慌不已，急忙派学士承旨徐铉两次到汴京，企图靠其辩才，说服宋军撤退。徐铉在宋廷口若悬河，陈述江南主无罪，宋军师出无名，请求宋军撤退。赵匡胤答道：“不需多言江南有罪无罪，只是天下一家，我大宋皇帝的卧榻旁边，岂能容忍别人酣睡？”徐铉狼狈逃回，李煜急调驻守上江的神卫军都虞侯朱令赟入援。该军乘舰顺流而下，来到皖口，宋兵夹攻。朱令赟以火油焚烧北边的宋军船只，然而，此时正刮北风，大火倒烧朱军船只。宋军乘势猛攻，南唐最后一支大军覆没，朱令赟被俘。援军被歼，金陵城更为危殆。宋军昼夜不停地攻城。城内粮食一斗竟值一万钱，死尸相枕。曹彬派人送信给李煜，说道：“情况已经很清楚，我只是可怜这全城的生灵。你如果投降，才是上策。城早晚要破了，你还是早作打算吧！”李煜却不予理睬，对手下人说：“如果真到那一天，我将穿上戎装，带领士卒，背城一战，以存社稷。实在不行，我就全家自焚，绝不当他宋国的鬼。”赵匡胤听到此话，说：“这小子不过是说说大话罢了，他哪里有这样的意志？他要真能如此，孙皓、陈叔宝都不会当俘虏了！”有一天，曹彬忽然装病不管事，众将都来探视。曹彬说：“我的病不是吃药能治的。只要诸君诚心发誓，克城之日不妄杀一人，病就自然好了。”众将于是焚香发誓，第二天，曹彬的病就好了。宋军向金陵城发动总攻，次日是十一月二十七日，攻陷该城，李煜率其重臣40余人光着上身，到曹彬军门投降，南唐灭亡。
南唐削平以后，南方只剩下割据浙江的吴越和福建漳州、泉州的陈洪进。从赵匡胤建宋起，吴越王钱俶就一直称臣纳贡，极为恭顺。974年（开宝七年）伐南唐时，赵匡胤以钱俶为升州东南行营招抚制使，让他出兵助战。吴越有人说：“南唐是吴越的北边屏障，两国的关系，就像皮肤和毛发一样，皮肤不存，毛发将附着于何处？”南唐李煜写信给他，说：“今天没了我，明天哪里还有你？一旦天子换个地方让将领们立功，你也就不过是汴梁城里的一个布衣罢了！”钱俶将信交给赵匡胤，得到一份嘉奖的诏书。钱俶亲自带领5万兵马，攻下常州，有力地配合了曹彬大军的进攻。南唐平定，赵匡胤招钱俶到汴京朝见，并许诺，一定让他回去。976年（开宝九年）二月，钱俶带了妻子孙氏、儿子钱惟浚到汴京朝见。赵匡胤赐给他一处宅院以及许多珍宝。住了两个月，让他回去。临走时，赵匡胤给他一个封得很严的黄布包袱，说：“你在路上慢慢看吧！”途中，钱俶打开包袱一看，原来是许多大臣要求扣留他的奏章。从此，他对赵匡胤更为畏惧，也更为驯服，完全唯命是从，只不过还保留着一个徒有虚名的国号罢了。
陈洪进本是驻泉州的清源节度使手下的一名牙将，963年（建隆四年），他以武力夺取兵权，自称节度使，并奉表向宋称臣。次年二月，赵匡胤下诏改清源军为平海军，以陈洪进为节度使。宋灭南唐，976年二月吴越入朝，陈洪进知道自己危在旦夕，于是上表请求入朝。北上途中，得到赵匡胤逝世的消息，陈洪进返回泉州。978年（太平兴国三年）二月，陈洪进入朝，献上所领二州十四县地，宋太宗任命其为武宁军节度、同平章事的虚衔，留汴京为官。
976年（开宝九年）正月，南唐主李煜被俘送汴京，江南战事大功告成，群臣欢呼雀跃，纷纷上奏章请求给皇上加以“一统太平”的尊号。赵匡胤反问道：“北方的燕、晋还没有收复，能说是‘一统太平’吗？”七月，赵匡胤以党进为河东道行营马步军都部署，潘美为都监，出兵讨伐北汉。十月二十日，一代雄主赵匡胤因病逝世，终年50岁，谥号英武圣文神德皇帝，庙号太祖。
赵匡胤即位以后，以13年的时间，致力于统一国家的事业。到他逝世时，已经统一了除北汉以外的大部分疆土，恢复了比较完整的中华版图，结束了自唐末五代以来的军阀割据局面，有重大的历史贡献。
