大业十四年（公元618年），禁卫军在宇文化及和司马德勘的策动下，在江都（扬州）发动兵变，炀帝在兵变中被杀。叛军推秦王杨浩为主，然后北上，到达童山不久，与瓦岗军李密展开激战，受阻。宇文化及将杨浩杀死，自立为帝。不久，宇文化及被义军窦建德杀死。
隋炀帝死后，隋朝也随之灭亡了，李渊从此不再需要杨侑这个傀儡皇帝了。于是，李渊在长安称帝，改国号为唐，改元武德，大赦天下，定都长安城。
李渊任命李世民担任尚书令，裴寂担任尚书仆射，刘文静担任纳言，萧禹、窦威担任内史令。随后，李渊封长子李建成为皇太子，次子李世民为秦王，最小的儿子李元吉为齐王。
李渊称帝的时候，全国还处于分裂的状态，国内群雄未靖，一些隋将拥兵自重，割据称雄，农民起义军更是称霸一方。
李渊是一个具有政治野心的人，他不甘心偏安关中，为了统一全国，他储粮积粟，厉兵秣马，广招人才。
李渊军力充实以后，发动了统一全国的战争。
李渊首先将目标指向严重威胁关中安全的薛举、薛仁杲父子。薛举自称西秦霸王，定都天水，是西北地区最强大的势力，薛举占据陇西全境，拥兵13万，准备夺取关中。但是李渊父子抢先攻占了长安，于是薛举父子率10万大军进逼关中，李世民率军曾经打败过薛军。
李渊长安称帝的时候，薛举率兵攻扰关中。自恃兵多将广的唐军在高塘一战败于薛军。薛举获胜的消息传到长安以后，唐军上下人心惶惶。薛举欲乘胜直取长安。
就在两军交锋的关键时刻，薛举病死，薛仁杲继位。李渊命秦王李世民出兵讨伐，薛仁杲最终不敌，率军投降。
李渊将陇西收归大唐版图。
与此同时，凉王李轨占据河西五郡登基称帝，李渊密派安修仁和安兴贵入凉，安兴贵与安修仁倾覆了李轨政权，活捉凉王李轨，李渊将河西五郡又收归大唐版图。
李渊消灭了薛举、李轨后，目标直指劲敌刘武周。
大业十三年（公元617年），马邑鹰扬府校尉刘武周聚兵数万，攻占了楼烦、雁门等郡，自立为帝。武德二年（公元619年），刘武周与突厥相互勾结，入侵唐朝的并州，太原告急。刘武周相继攻陷了平遥、介州，打败了唐朝右仆射裴寂所率大军。刘武周向太原逼进，李元吉弃太原城而逃，朝野震骇。李渊决定放弃黄河以东，退保关中地区。这时，李世民站出来据理力争，极力主张不能放弃起兵的太原，应该夺回，主动请求率军征讨刘武周。
李世民率军渡过龙门渡河以后，并不急于攻打刘武周所率的军队，而是厉兵秣马，坚壁清野，等到刘武周的军队粮草供应不上，军队士气衰落的时候，才率军一鼓作气，速战速决，进击刘武周。
刘武周在此次战役中全军溃败而逃，得力部将尉迟敬德向李世民投降。战败的刘武周不得不率领残兵败将投奔突厥，不久被突厥人杀死。李渊将刘武周的地盘收归大唐版图之内。
李渊在消灭了薛举、李轨、刘武周以后，关中的形势基本稳定。此时，李渊开始集结力量，图谋中原。
王世充是李渊争夺中原的最大劲敌。王世充曾经担任过隋朝江都通守，隋炀帝死后，他在东都拥立杨侗为傀儡皇帝。
王世充于武德二年占据洛阳，废掉了洛阳的傀儡皇帝杨侗，自立为帝，国号郑。王世充的势力不断扩大，并打败了瓦岗军。瓦岗军的很多将帅在战败后归附于王世充，王世充成为了河南最强大的割据势力。
武德三年（公元620年），李世民率军攻打洛阳。
王世充统治下的河南州县纷纷降唐，王世充只好率军死守洛阳，派人向河北的窦建德求救。窦建德认为可以利用这个机会与王世充合力打败强敌唐朝，然后再找机会消灭王世充的势力，因而率10万大军到达成皋，前来救援王世充。
唐军要面对两支劲敌，形势十分危急。李世民当机立断，率唐军抢先攻占了军事重镇武劳，阻击窦建德所率之军。
窦建德率军设下20里的长阵，向唐阵发起挑战。以逸待劳的唐军却坚守不出。此时，窦建德之军经过长途跋涉，缺粮少草，士卒疲惫不已，唐军乘机向窦建德发起猛攻。窦建德大败后被俘。王世充见此情景，率群臣向唐朝投降，随后窦建德的河北诸县也纷纷降唐，黄河流域基本被李渊控制了。
与此同时，李渊派李靖率兵攻打占据长江中游广大地区的萧铣。
武德元年（公元618年），萧铣在巴陵自立为帝，不久，拥兵40万的萧铣出兵攻打唐朝的巴蜀地区。唐朝将领李靖、李孝恭于武德四年（公元621年）率兵围困住江陵，萧铣，被迫降唐，从此李渊控制了长江中下游地区。
李渊将拥兵自重、割地称雄的各地势力一一兼并以后，将矛头直指反对隋朝暴政的农民起义军。
武德四年，李渊杀死降唐的窦建德以后，窦建德的部将在漳南推举英勇善战的刘黑闼为主帅，起兵反唐，窦建德的残部闻风而起，刘黑闼用了不到半年的时间，就恢复了窦建德的故地。
看到刘黑闼的势力一天天不断壮大，李渊命李世民、李元吉火速征讨刘黑闼。刘黑闼亲自带领两万步骑兵迎战，双方从中午战到黄昏，杀得天昏地暗，不分胜负。双方都难以取胜。
此时，早已在洛水上游筑坝截水的唐军决水灌敌，刘黑闼兵败而逃。
刘黑闼兵败两月以后，再次率军卷土重来，恢复了故地。
刘黑闼于武德五年（公元622年）占据洛州自称汉东王。不久，打败了率兵前来讨伐的齐王李元吉。
随后，李渊派皇太子李建成前往讨伐，李建成为了能够瓦解刘黑闼的军队，对百姓进行了安抚，深得民心。刘黑闼所率大军军心很快瓦解，武德六年，刘黑闼兵败被杀。李渊最终控制了河北、山东广大地区。
早在隋大业十三年，杜伏威占据了江淮地区，在历阳自称总管。唐朝大军围攻洛阳的时候，杜伏威降唐。
杜伏威旧部辅公柘于武德六年率江淮义军在丹阳反唐，自立为帝，李渊借故杀死了降臣杜伏威，派李孝恭、李靖、李世勋等人征讨辅公柘，辅公柘兵败后被斩。从此，李渊控制了江南、淮南地区。
李渊在统一全国的过程中，梁师都是最后消灭的武装力量。
早在隋大业十三年，梁师都在朔方起兵反隋，依附于突厥贵族，自立为帝。
唐贞观二年（公元628年），李渊派兵将被突厥贵族封为"解事天子"的梁师都消灭。至此，李渊兼并和打败了地主割据势力与农民起义军，完成了统一全国的大业。
