继征服了陇西薛仁杲部之后，天下尚有刘武周、王世充、窦建德等诸多武装割据势力。房玄龄跟随李世民转战东西，出谋划策，不断取得胜利。
公元617年二月，马邑（今山西朔县）鹰扬府校尉刘武周杀了太守王仁恭，打开粮仓赈济灾民，收了一万余名士兵，自称太守。并派使者与突厥军队结盟。突厥首领欣然允诺，派兵来助刘武周一臂之力。于是，刘武周自立为皇帝，改元天兴，并且集聚重兵拿下了雁门（今山西代县）。
刘武周手下有一员猛将名叫宋金刚，这宋金刚原为易州（今河北易县）的一支农民起义军的将领，手下有数万人马，原本与魏刀儿联合作战。但是，公元618年窦建德打败了魏刀儿，宋金刚没能救援、挽回局势，所以就率了四千人马投奔了刘武周。刘武周非常重用宋金刚，将军中大权交给了他，还把自己的妹妹嫁给了他。
公元619年四月，刘武周集结突厥的军队大举南下，占领了榆次（今属山西），但是在攻克并州（今山西太原西南）之战中被齐王李元吉击退。六月，刘武周攻陷介州（今属山西），唐军伤亡惨重，众多将领被俘虏。这时，宋金刚率领两万精兵又来攻打并州，刘武周也前来接应，共同攻城。身为并州总管的李元吉不敌刘武周和宋金刚，全军溃败，连夜逃回长安，太原失守。十月，刘武周又拿下浍州（今山西翼城），一时间千军万马横扫中原大地，无人能敌。
李世民刚刚打败薛仁杲凯旋，去拜见李渊时，只见李渊正在发怒：“元吉年少，不熟军事，所以我派窦诞、宇文猷两人辅佐他。晋阳强兵数万，粮食可吃十年，是兴隆大唐的基地，竟然一日就被丢弃，实在是奇耻大辱啊？”
李世民听说晋阳失守，不由大惊，赶紧问是怎么回事。原来，不久前，刘武周勾结突厥军队，大肆入侵，李元吉所辖并州告急。李渊派大将姜宝谊、李仲文前往救援，但是二人中计，都成了俘虏。刘武周进逼太原，李元吉竟骗副将刘德威说：“你带领老弱守城，我带领强兵出战”。结果自己却逃回了长安。李元吉刚走，刘武周大军已至城下，晋阳城很快陷落。
李世民听了，说道：“李元吉为太原太守，大权在握，保卫太原是他的职责。如今太原失陷，李元吉难辞其咎。现在当务之急，是立即派出大军，收复失地。”
李世民正想主动请缨，收复太原，不料裴寂先站了出来，向李渊说道：“下官愿意带兵讨伐刘武周，以解陛下之忧。”
李渊听了，立即说道：“你能为我分忧，真是让我高兴啊！”
于是，李渊任命裴寂为晋州道行军总管，讨伐刘武周，并且说，“将在外，君命有所不受”，允许裴寂自行决策。哪料裴寂并不是一块领兵打仗的好材料，一出师就遭到惨败，全军覆没。刘武周趁机占据河东各县，势力直达黄河东岸的蒲州，关中为之震动。
李渊大为恐慌，一面召裴寂入朝，追究他的责任，一面颁布手令：刘武周如此猖狂，一时难与争锋，我军暂时放弃太原，从长计议。
满朝文武看了李渊手令，虽然都觉得放弃河东实在可惜，但又无可奈何。
李世民看了手令，焦急万分，立即对李渊说：“太原是实现我们千秋霸业的基础、国家的根本，太原所辖之地土地肥沃、物产丰富，长安的供应也依靠它。现在一旦全部丢弃，我们损失惨重，而且为将来埋下了巨大的隐患。裴寂全军覆没，完全是因为策略错误所致。只要策略得当，一定可以转败为胜。”
李渊说：“目下满朝文武损失惨重，有的将领也是有重任在身，无法脱身，我应当找谁去讨伐刘武周呢？”
李世民微微一笑，说道：“父王如果愿给儿臣三万精兵，儿臣定能打败刘武周，收复太原。”
李渊转悲为喜：“自起兵以来，你身经数战，攻无不克、战无不胜。只要你去，我就放心了。”于是征调关中所有的部队，供李世民调遣。李世民出征之日，李渊亲自送行。
唐武德二年（619）十一月，接连几天北风，黄河封冻，李世民率大军从龙门出发，乘坚冰渡河，进入汾水流域，在柏壁安营扎寨，断了宋金刚的退路。宋金刚赶紧收缩兵力，主力退到汾阳（今山西万荣西南）一线，同唐军相持。此时，汾水流域经过连年战争，老百姓大部分都已经外逃，田野荒芜无人耕种。宋金刚又强取豪夺，将百姓财产劫掠一空。因此，民情慌乱，军粮无处征收，极度匮乏。
为了缓解这一状况，唐军四处张贴布告，号召百姓回到家乡，安居乐业。老百姓听说是李世民带兵，莫不欢迎，纷纷从异乡赶回，重建家园。这样，李世民就得以收集老百姓的余粮，来充实军粮的储备。李世民严令部队公平交易，收购了大量粮草，为攻打刘武周做了充分的准备。
房玄龄信任秦王李世民的军事指挥才能，但为了确保这场大战役的最后胜利，他还是劝李世民慎之再慎，采取坚壁不战的方针。但并不意味着无所作为地等待，房玄龄是要让李世民尽可能详细地了解敌情，做到知己知彼。
当时的情况是，刘武周的军队起兵于北方边防要地，手下的士兵战斗力极强，又乘着战斗胜利的余威，士气十分旺盛。而且，他又得到突厥军队的鼎力支持，军队的锐气势不可挡。刘武周又将太原这个库存丰饶的地方占据，无疑是如虎添翼。但是，由于刘武周勾结了突厥人，不得民心，所以在粮草筹备方面就十分困难。目前，宋金刚的粮草都是从太原运过来的，由于山高路远，粮草的运输极为不便，这让宋金刚十分懊恼。而唐军的后备力量十分充足，后方十分巩固，李世民军纪严格，也比较容易得民心。
宋金刚听说李世民筹了许多粮草，就派兵四处出动，抢掠百姓，以断绝唐军粮食的来源。这样，百姓更加拥护唐军，唐军的粮食反而更多。宋金刚大怒，便向唐军挑战。唐军诸将都请求出战，李世民不答应：“宋金刚孤军深入，他手下的精兵猛将都聚集在这里。刘武周攻破太原、打败裴寂，也主要是倚仗宋金刚的力量。然而，宋金刚外强中干，通过掳掠老百姓来充实自己的部队，很明显他是要速战速决。我们应战，不是正中他的下怀吗？我们闭营不出，以不变应万变，即可挫伤他的锐气。同时，我们要兵分两路，冲击他的心腹地带。这样，等他粮尽计穷，自然会逃走的。”
诸将听了，恍然大悟，都夸李世民高明。
李世民在坚守不出的同时，经常派出小股部队深入敌后，骚扰宋金刚。宋金刚求战不能、求安不得，加上部队纪律很差，百姓痛恨，也损害了将士们的战斗意志，士兵开小差的越来越多，因此兵力日益衰竭。而李世民却以静制动，等待良机。
唐武德三年（620）四月，宋金刚军中粮食耗尽，全军被迫北撤，命大将寻相在后面掩护。李世民见敌军北撤，认为战机已至，立即率军紧紧追赶。原来在黄河、汾水间北上的小股部队，也奉命东进，进入汾水沿岸，出现在宋金刚大军的两翼，不断袭击干扰，严重减缓了宋军的后撤速度。
到了吕州（今山西霍县）之后，李世民打败了寻相的部队，并且乘胜追击，连夜北上。一夜行军二百余里，大战十余阵。但是此时唐军已经到了高山周围，将士们都十分饥渴、疲惫。李世民的部下就劝他整顿兵马、稍事休息，等与后续部队和供应粮草的部队接应上以后，再继续追击。李世民听了，说道：“宋金刚败走，人心离散，我们理应乘胜追击。功难成而易败，机难得而易失，我们要抓住机遇，尽忠报国！”随后，李世民仍然自己骑马走在最前头，将士们虽然一天一夜没有进食，但看到主帅也是这样，也就没有怨言，继续快速前进。
宋金刚逃到雀鼠谷，李世民的大军已经追赶上来。双方一天之内大战八阵，李世民都取得了胜利，并且俘虏了数万人。这天晚上，唐军在雀鼠谷西原安营扎寨。这几天，李世民身先士卒，连续两天颗粒未进，连续三天不解铁甲。临战之前，军中只有一只羊，李世民下令将其熬成大锅汤，和将士们分而共吃。第二天一早，又继续前进，直扑介休。
当时，宋金刚尚有大军两万，他在城西布阵，南北横亘七里，准备与李世民背水一战。李世民命令程咬金、秦叔宝攻击宋金刚部队的北翼，翟长孙、秦武通攻击他的南翼。宋金刚是刘武周手下的第一骁将，不但善于用兵，而且勇力过人。这一仗关系到他的生死存亡，所以拼死迎战。双方尸积满地，血流成河，将士都在血泥中奔突。唐军连续作战，不曾好好休息，因此渐渐不支，这两队唐军都出师不利。
李世民见状，从军中挑出三千多精锐骑兵，亲自统帅，向宋金刚阵后冲去。李世民如旋风一般扑向敌阵，杀得敌军大败。宋金刚只带了几十轻骑逃走，他手下大将尉迟敬德向唐军投降。李世民见又得一位猛将，不禁大喜，于是任命尉迟敬德为统军。
刘武周听说宋金刚惨败，十分害怕，放弃太原，率领五百骑兵逃回突厥。宋金刚想收拾残部继续作战，却无人相从，指挥失灵，无奈之下，也率领百余骑兵逃往突厥。不久，刘、宋二人都被突厥所杀。
李世民进入太原，将刘武周占据的地盘全部收复。歼灭刘武周为唐军挺进中原奠定了坚实的基础，解除了后顾之忧，重新稳定了山西太原一带的局势。
在这次大战役中，房玄龄的战马被箭射中右眼，流血而死。战事结束后，李世民赏给他一匹白马，并跟他开玩笑说：
“你家里有一位独眼婆姨，我不能再让你骑一匹独眼战马了。”
房玄龄很痛心，他亲手将死马埋葬了，并题写木碑：“房马吾儿之墓。”
李世民对众人道：“烽火之中尚存蝼蚁之惜，足见玄龄重情重义！”
