窦建德失败后，他手下的将领四处逃亡。由于唐王朝在全国对他们进行通缉，他们走投无路，又聚集起来，推刘黑闼为首脑，重新起兵。刘黑闼原是窦建德手下的一员猛将，为人刚毅果敢，作战勇猛，深得部下拥戴。刘黑闼召集窦建德的旧部，攻州掠府，杀死唐朝官吏，声势大振。刘黑闼自称汉东王，改元天造，定都洛州。
唐武德四年（621）九月，李渊派李神通统兵镇压刘黑闼。李神通率领五万兵马与刘黑闼在饶阳（今属河北）城南展开战斗。唐军大败，损失了三分之二的人马。十一月，刘黑闼攻陷定州，俘虏了定州总管李玄通。刘黑闼爱慕李玄通的才华，想重用他为自己的大将。但是李玄通誓死不从，自杀身亡。
十二月，刘黑闼率领数万精兵逼近宗城（今河北威县），赶走守城总管。随后，又接连攻下河北的几个郡县。仅半年时间，刘黑闼便恢复了窦建德原来的所有地盘，实力比起窦建德有过之而无不及。河北、中原的形势大变。李渊非常惊恐，急召秦王李世民商量对策。李世民说：“请父王给儿臣五万大军，儿臣一定剿灭刘黑闼，收复河北之地。”
齐王李元吉也在旁边，表示愿意随军作战。李渊很高兴，随即诏令李世民、李元吉率大军五万，征讨刘黑闼。
武德五年（622）正月，李世民率领大军，收复了相州（今河南安阳），随后，进军肥乡，并在沼水边安营扎寨。李世民传令幽州（包括今北京以及河北的部分地区）总管李艺率数万大军南下，与自己形成南北合击之势。
李艺奉命出兵，在鼓城与刘黑闼的军队展开厮杀，大获全胜，俘虏敌军八千余人，沼水地区被唐军占领。李艺乘胜南进，先后又拿下了定州、栾州、廉州、赵州，并顺利与李世民会师。
二月，刘黑闼大举入侵沼水城，把沼水城围了个水泄不通。沼水城四边都有护城河，水深一丈，宽二十余步。刘黑闼见护城河无法渡过，于是就命令士兵运来大量黄土，在城东北筑起两道与城墙一样高、宽十步的通路，迅速向城下接近。李世民三次派兵援救，都被刘黑闼挡住。刘黑闼重兵猛攻，昼夜不停。守城将士经过八天苦战，死伤累累，粮尽力竭，沼水城终于失陷。守城大将罗士信战死。
李世民考虑到，刘黑闼虽然攻破了沼水城，但经过八天苦战后，将士必然疲惫不堪，正宜紧急攻打。于是，李世民从洺水城出发，前往沼水城围攻刘黑闼。
李世民、李艺到达沼水后，分别在沼水城南北与刘黑闼对峙。刘黑闼乘胜向唐军进攻，锋芒极盛。于是，李世民下令坚守不出。当时，刘黑闼从冀州、贝州、沧州、瀛洲等地通过水、陆两道往军中输送粮食，舟车并进。李世民派部将率一千余精兵截击，烧掉所有粮车，凿沉所有粮船，将刘黑闼的粮道截断。
刘黑闼大怒，率兵夜袭李世民手下大将李勣的兵营。李勣不及提防，仓皇后退，溃不成军，向李世民求救。
李世民急忙率兵，攻击刘黑闼的后路。刘黑闼果然悍勇，又回过头来，把李世民围在中心。李世民左右冲杀，身边的将士纷纷倒毙。正在危急之时，降将尉迟敬德率领几百勇士杀来，救出李世民。
这一战后，李世民意识到刘黑闼果然是一员猛将，不可轻敌。他更加严令部下小心防守，决不轻易出战。两军相持了六十余日，李世民估计刘黑闼军中粮食已经用尽，就派人事先在沼水上流修筑了一道堰，将上流的水挡住，并嘱咐守堰的官员说：“等下流战斗打响，你就将这道堰决开放水。”
三月底，刘黑闼军中已经没有任何余粮，刘黑闼果真率领两万步骑兵，南渡洺水（古水名，在今河北南部），直逼唐军大营。李世民亲率精锐骑兵，将刘黑闼的骑兵打败，又乘胜践踏刘黑闼的步兵，打乱了刘黑闼的阵势。刘黑闼率军死守，与李世民展开殊死战斗，自中午到黄昏，体力逐渐不支。
刘黑闼见大势已去，就带领范愿等两百骑兵向突厥军队方向逃窜。但是，刘黑闼手下其他的将士并不知道刘黑闼已经逃走，仍然在拼死奋战。这时，上流的堰已经决开，洺水猛涨，深达一丈多，刘黑闼大军霎时混乱，被杀一万余人，淹死的又有几千。这一仗之后，河北基本就被平定了。
收复河北之后，李世民乘胜追击，带兵攻打屯集在兖州的刘黑闼部下徐圆朗，连下十多座城池。徐圆朗龟缩在兖州城，坚守不出。李世民下令围攻兖州。七月，李世民班师回朝，留下淮安王李神通等人继续攻打徐圆朗。
刘黑闼投奔突厥之后，于六月又再次引突厥军队南下，骚扰山东。七月就到了定州，刘黑闼以前的部将曹湛、董康等都积极响应，回归刘黑闼麾下。李渊于是就命令淮阳王李道玄前去征讨。但是，李道玄不是刘黑闼的对手，出师不利。九月，刘黑闼攻陷瀛洲。十月，李渊又命令齐王李元吉去山东助战。
哪知，李道玄率领三万大军与刘黑闼在下博（今河北深县）展开战斗，并被刘黑闼一举击败。李道玄也被刘黑闼所杀，李世民知道噩耗后悲痛万分、痛哭流涕。李道玄兵败之后，引起山东驻军的极度恐慌，沼州总管庐江王李援竟然临阵脱逃、弃城而去，其所辖各州县也纷纷向刘黑闼投降。没过多少日子，刘黑闼就将故地收复，又兵临洺州。
齐王李元吉畏惧刘黑闼，不敢进军。
十一月，李渊命令太子李建成率军征讨刘黑闼。魏徵向太子建议使用安抚政策，争取民心。由于连年混战，农田几乎没人耕种，全部荒芜、杂草丛生，百姓们都希望过以前的安定日子。听说唐军大赦天下，安抚民心，都欣然归往。刘黑闼因不停地征兵作战，又给百姓强加税赋，弄得民不聊生，所以就逐渐失去了群众的支持。刘黑闼在民间征到的粮食越来越少，军中的粮食极度匮乏，将士们食不果腹，所以很多人都逃走了。
一次，摇摇欲坠的刘黑闼军队在与唐军的战斗中大败，刘黑闼和他的数万骑兵只能逃亡。唐武德六年（623）正月，刘黑闼在逃亡途中被俘，随后被杀。二月，徐圆朗也被打败，带着几个骑兵逃亡，在荒野之中被盗贼所杀，征讨刘黑闼的战争也从此结束。与刘黑闼的战役，是历次战役中最为艰难的。
至此，中原大地的农民起义军均被李氏父子所灭。李氏父子经过数年苦战，终于拿下了这片广袤的土地，一统天下，唐王朝统治的序幕徐徐拉开。
