公元617年，李渊攻入长安。公元618年，李渊继皇帝位，唐朝建立，年号武德。
李渊建都长安之后，关东仍然群雄纷争，征伐不已，主要有三支力量：河北的窦建德、江淮的杜伏威、河南瓦岗寨的李密。此外的割据势力还有陇西的薛举、薛仁杲父子，马邑的刘武周以及洛阳的王世充。如果不平定这些军事集团，李唐的江山便很难巩固，于是李渊便派秦王李世民统率大军出征，而将太子李建成留在长安，帮助自己处理政务。
刘武周是河间景城（今河北交河东北）人，他不仅骁勇善战，而且非常喜欢结交朋友，是草莽英雄。年轻的时候，他不喜读书，只喜欢骑射，离家去了洛阳，准备投军。后来成了隋朝大将杨义臣手下的一员虎将。杨义臣征讨高丽，他随军出战，回来后，凭借军功升为建节校尉。不久后到马邑，任马邑鹰杨府校尉。
大业十三年（公元617年），马邑太守王仁恭听说刘武周曾经跟着隋炀帝征辽，喜欢他作战勇猛，收为帐下亲兵，不离左右。时间一长，刘武周开始调戏王仁恭的侍女，侍女不加拒绝，过不多久，便米已成炊，且感情越来越好。刘武周知道天下没有不透风的墙，这事总有一天会被王仁恭发现，害怕事发被诛九族，决定先下手为强，他勾结社会上的一些恶少，杀害了王仁恭。为了镇压其他人，给自己树威，他提着王仁恭的头在郡中示威，没有人敢吱声。刘武周杀隋官在前，示威在后，再做朝廷命官已不可能，自己思量无路可走，只有起义一条路了。于是，刘武周开仓济贫，收得徒众一万多人，自称太守，并依附突厥，被突厥封为“定杨可汗”，成为北方最大的割据势力。
刘武周起义后，原活动于易州（今河北易县）的农民起义军首领宋金刚，被河北义军领袖窦建德击败后，率余众四千人归附刘武周。
李渊建唐后，宋金刚建议刘武周“入主晋阳，南向以争天下”，刘武周遂于武德二年三月在突厥支持下举兵南下。刘武周首攻并州，并州总管李元吉以畋猎游乐为事，不理军务。四月，刘武周引突厥军至黄蛇岭（今山西榆次北），李元吉强令车骑将军张达仅率100名步兵试战，结果全军覆没，张达愤而投降刘武周，并引其军攻占榆次（今属山西）。
四月十八日，刘武周进围太原。为了扭转战局，李渊决定派右仆射裴寂来前线督军抗击，任命裴寂为晋州道行军总管，拨精兵三万，会同各郡兵力讨伐刘武周，命他见机行事。可惜裴寂根本不善于带兵，对兵法更是一窍不通，他是一个政治家，但绝不是一个军事家，所以他来并未能改变战场的形势。
刘武周攻入并州和太原，总管裴寂节节败退。敌军直逼绛州，攻下龙门，不久又攻下浍州，刘武周大军这一连串的军事行动，比起当时唐军进攻长安用的时间还短。
这与李元吉在太原的治理有很大的关系。李元吉本性残暴，父亲让他留守太原，那简直是放虎归山。太原远离长安，无人能够制约，骄奢淫逸，无恶不作，他的做法惹得人人怨恨。李元吉有奴客、婢妾数百人，李元吉经常让他（她）们披甲执仗，互相攻战，当做游戏。一场攻伐下来，就会死伤很多人，李元吉本人也曾因参加这种游戏而受伤。李元吉的乳母陈氏善意苦劝，他不但不听，反而迁怒于乳母。一次，李元吉喝醉酒后，命人将陈氏活活打死。
李元吉还非常喜欢打猎，他曾说：“吾宁三日不食，不能一日不猎。”在狩猎时往往践踏百姓庄稼，还纵容部下抢夺民财，弄得百姓憎恨不已。李元吉甚至荒唐到当街射人，以观人避箭为乐。他还喜欢夜晚外出，奸人妻女，太原百姓对此极为愤恨。协助他镇守太原的右卫将军宇文歆多次劝谏，李元吉不听。宇文歆无奈，只好将这些情况反映给唐高祖，李渊一看奏章，气得七窍生烟。
在武德二年（公元619年）二月，大臣们联名上奏，要求罢免李元吉，李渊下令罢免李元吉并州太守之职。李元吉丢官后不甘心，又暗中令其亲信以太原父老的名义向唐高祖上书，请求留在太原继续为官。唐高祖罢免李元吉是迫于舆论的压力，这时正好顺水推舟，又恢复了李元吉的官职，仍留镇太原。但李元吉并无任何收敛的表现，这就是太原会如此快失守的原因。
刘武周不断进逼，虞、泰二州也已遭到攻击。裴寂并不去组织防御，而是派人去叫州官，把老百姓都收到城里去，把财物烧毁，企图坚壁清野。这种野蛮的做法，最终激怒了当地百姓。百姓连年饱受战争的痛苦，已经是穷困之极，现在还要将他们的财物烧毁，他们岂能容忍？百姓心怀记恨，反乱之心油然而生。夏县吕崇茂乘势聚众，响应刘武周，自称魏王，四处抢劫。裴寂接连得到警报，只好去征讨吕崇茂，但军无士气，一经临战，便纷纷溃退，裴寂也只得飞马逃回。面临四面楚歌的裴寂手足无措，只有上奏求援了。
形势非常险恶，李唐王朝的发迹地竟在旦夕之间陷落了。李渊惊呼：“晋阳有几万强兵，有足够吃十年的粮食，王业兴起的根基，一下就丢弃了，真是太可怕了。”消息传开，民心大骇，街头巷尾，议论纷纷，远近奔走相告，莫不惊异失常。
在这种严峻的形势下，李渊已经没有斗志了，慌忙颁发手敕：“贼势到如此地步，很难与他们抗争，宜放弃黄河以东地区，谨守关西。”可是秦王李世民坚决不同意，他上表称：“太原是王业的基础，国家的根本，河东土地富饶，京城的粮食全靠河东供给，如果全部放弃，臣深感愤恨。希望给臣三万精兵，必定消灭刘武周，收复汾、晋。大敌当前，岂能退缩，尔等愿带兵出战！”
于是，李渊答应了李世民的要求，积极准备出征。李渊调集关中所有兵力由李世民统一指挥，封他为征虏大元帅，即刻起程北上讨伐刘武周。李渊知道此次讨伐刘武周事关重大，如果胜利的话，后方从此就固如磐石；如果战败，唐王朝就面临不能统一天下的局面。为了给李世民壮行，李渊亲自到长春宫为他摆酒送行。十一月，正值隆冬季节，天寒地冻，李世民趁河水结冰，从华阴渡过渭水、洛水北上，在龙门渡过黄河、汾水，驻兵柏壁，与刘武周的主力、宋金刚率领的军队遥相对峙。
由于裴寂坚壁清野的政策实行在先，所以现在最为紧缺的就是粮饷，庞大的军队每天消耗的粮食非常巨大。但是黄河以东的州县遭抢劫后，没有粮仓，一般的百姓也都缺粮，人人惧怕侵扰，聚居在城中，征集不到东西。面对这种情况，李世民坚决改变过去裴寂那一套扰民的做法，想方设法安抚人心。由于秦王李世民在百姓心目中的威望很高，所以他一打出自己的旗号，百姓就纷纷踊跃归顺。前来的人日益增多，唐军也不断地征收到粮草。军粮充足，队伍也得到了加强。不过，现在还不是以硬碰硬的时候，所以李世民休兵喂马，只命小部队抄掠敌军，大军则坚壁不战。
在大军坚壁不战的同时，李世民与宋金刚的势力也有小的交锋。
十二月，刘武周大举进兵夏县，永安王李孝基全力抵抗，但力量对比悬殊，全军覆没，永安王李孝基等被伤。李孝基派人通知李世民，自己则躲起来养伤。
李世民接到消息后非常愤怒：“敌人如此猖獗，我亲自带兵前去征剿吧！”
兵部尚书殷开山、行军总管秦叔宝愿意代元帅出征。
李世民非常高兴地说：“二位将军愿意同去，比我亲自去都强。敌兵已经取得胜利，现在一定回军，最好在中途伏击，攻其不备，定能取胜。”
二将领命出师，在路上探知，入侵夏县的刘武周大将尉迟敬德、寻相已经捉住了李孝基等人，准备返回浍州，现在很快就到美良川。美良川有一条河是尉迟敬德等人必经之路，殷、秦二人率军埋伏在河边，等到尉迟敬德、寻相率军渡过一半的时候出军攻击，把尉迟敬德等人打得溃不成军，斩杀两千余人，尉迟敬德逃脱。这次大胜而归，大大提高了唐军的士气，诸将纷纷请战，但李世民认为时机还不成熟，不许出战。只是到处收集情报。
武德三年（公元620年）正月，尉迟敬德和寻相奉命救援蒲坂的王行本，李世民听到这个消息，亲自率领三千人马，连夜赶到安邑（今山西运城东北）设伏。尉迟恭等人还未做准备，已经被杀得七零八落，寻相和尉迟敬德只身逃跑，其余全军覆没。
在侦察敌情的过程中，李世民也曾遇到一次惊险的事情。一次，李世民带轻骑兵去侦察敌情，随从的骑兵四下分散开来，李世民只和一名穿铠甲的士卒登上山丘休息，不想竟然睡着了，结果被敌军的情报人员发现了。不久，敌人从四面包围了他们二人。开始，二人毫无知觉，恰巧蛇追老鼠，碰到了甲士的脸，甲士惊醒后发现敌情，赶紧推醒李世民，二人一起上马，才走了百余步，就被敌人追上，李世民用大羽箭射死了敌人的骁将，敌骑兵这才退去。
经过一段时间的坚壁不战，宋金刚的大队人马渐缺粮草。刘武周为打通运粮道，给宋金刚供应粮草，数次攻打浩州。唐将李仲文坚守浩州，刘武周多次进攻，都被李仲文击退。太原的粮草不能运到柏壁，使宋金刚的军粮匮乏。李仲文还派人四处骚扰刘武周的运粮队伍，为李世民的胜利奠定了基础。
又坚壁了一段时间，李世民手下的有些部将不耐烦了，请求与宋金刚交战。李世民说：“宋金刚孤军深入，麾下集中了精兵猛将，刘武周占据太原，依仗宋金刚为屏障。宋金刚的军队没有储备，比我们更缺粮食，只有靠掠夺补充军需，利于速战。我们关闭营门不出，养精蓄锐，可以挫败他们的锐气。分兵攻汾州、隰州，骚扰他的心腹之地，他们粮尽无计可施，自然会退军。我们应当等到那时再战，目前不宜速战。”
双方对垒相持5个月后，宋金刚军粮困乏，正值隆冬季节，再也没有粮食可以掠夺了，部队士气大减，不得不撤军补充粮食。李世民亲率大军奋勇追击，唐军漫山遍野，倾巢而出，鼓声震天，喊声如雷。至吕州追上了断后的宋金刚部将寻相。唐军憋足了劲，冲入寻相的部队，就如狼入羊群，势如破竹。寻相抵敌不住，大败而走。李世民紧随其后，乘胜追击，寻相返回又战，战败再逃，李世民又继续追击，一昼夜走了200多里，打了几十仗。追到高壁岭，总管刘弘基抓住李世民的马缰规劝道：“大王打败敌人，追到这里，功劳已足够了，不断深入，就不爱惜自己吗？况且士兵们饥饿疲惫，应当在此停留扎营，等到兵马粮草都齐备了，然后再进击也不晚。”李世民说：“宋金刚无计可施才逃跑，军心涣散；功劳难立而失败颇易，机会难得，转瞬即逝，一定要趁此机会消灭他。如果我们停滞不前，让他有时间考虑对策加以防备，就不可能轻易打败他了。我尽心竭力效忠国家，怎么能只顾惜自己的身体呢？”于是，催马向前，继续追击，一看主帅如此，将士们也不敢再提饥饿。唐军在雀鼠谷追上宋金刚，一天交锋八次，都打了胜仗，俘虏和斩杀的敌军有好几万。
当晚，在雀鼠谷宿营。李世民和将士们已经两天没有吃饭，三天没有解甲睡觉。他们稍稍休息。接着，李世民带兵继续追击。
这时，宋金刚尚有两万精锐部队，在城西宽阔之处，背城布阵，南北相连有六七里长。宋金刚摆出这样的阵势，准备和李世民决一死战。李世民知道决战的时刻到了，他命李世勣、程咬金、秦叔宝在北面布阵，翟长孙、秦武通在南面布阵，他本人则亲率3000精骑冲其阵后，这一仗都抱着必死的决心，双方杀得难分难解，尸横遍野，血流成河。但毕竟宋金刚新败，士气低落，难以抵挡，大败而逃。李世民追出几十里，一直追到张难堡，摘下头盔向堡垒上的士兵示意，守堡垒的军士认出李世民，都欢呼雀跃，高兴得流下泪来。随从告诉守军：秦王还未进食。守军便献上混酒、粗米饭，秦王吃得很香。在张难堡，敌军将领尉迟敬德、寻相等率余部八千人来降。
尉迟敬德籍属朔州，武勇善骑，是一位杰出的精骑将领。李世民得到尉迟敬德非常高兴，引为右一府统军，并让他仍然统领八千旧部。有人担心尉迟敬德会叛变，李世民不听，说：“昔萧王推赤心置人腹中，并能毕命，今委任敬德，又何疑也？”
宋金刚收拾残部，准备再战，但部众都不肯随他与唐作战，于是宋金刚只得和一百多骑兵逃往突厥。至此，刘武周的大部分军队被李世民打败了。刘武周得知全军溃败，只得弃太原北走。不久，宋金刚打算从突厥跑回上谷，被突厥捉回，处以腰斩之刑。
刘武周当初南侵犯唐时，他的内史令范君璋曾规劝道：“唐主以一个州的兵力，直取长安，所向无敌，这是上天有助，不是人力。晋阳以南，道路狭窄险要，孤军深入，后无援军，假如进军攻战不利，怎么回军？不如北面联合突厥，南面与唐结交，在此一方称王称霸，才是长远之计。”刘武周不听，留范君璋守卫朔州，自己率军南下。刘武周失败后，流着泪对范君璋说：“我没有采纳你的意见，以至于到了现在这种地步。”过了一段时间，刘武周策划从突厥逃回马邑，事情泄露，被杀。突厥人任命范君璋为行台，统领刘武周的余部。
经过半年艰苦卓绝的战斗，李世民圆满完成使命，收复了并、汾旧地，消灭了又一个“争天下”的强大敌人，为巩固新建的唐朝政权立下了卓越功勋。战役结束以后，李世民升李仲文为并州太守，自己率大军凯旋而归。
