准备工作有条不紊地秘密展开了。
李渊命令李世民与刘文静等各自招募兵马。
远近之民苦于隋炀帝暴政，纷纷投军，刚10天左右，就募兵近万人。这支队伍是由李渊、李世民父子私自控制和直接指挥的，成为晋阳起兵的主力军。
晋阳副留守王威、高君雅本是隋炀帝派来监视李渊的暗探，见李渊聚集这么多兵马，怀疑他有反隋之心。但当时正是抵抗突厥来犯的非常时期，王威和高君雅迫于形势，不能反对，但也委婉地提醒李渊，招募士兵只能用来对付依附突厥的刘武周，决不可另有图谋。
李渊、李世民父子为了防止日久生变，加快了军事部署的步伐。王威和高君雅看到募兵云集，怀疑李渊已有异志，便暗中策划晋祠祈雨大会。晋祠位于今太原市西南25公里的悬瓮山下。王威、高君雅想把李渊诱骗到这里，加以杀害。这个阴谋恰好被经常出入王、高两家的晋阳乡长刘世龙知道了，刘世龙立即将此事报告给李渊父子。李渊和李世民、刘文静等商量后，决定先发制人。
大业十三年（公元617年）五月十四日夜里，李渊派李世民率兵埋伏在晋阳宫城的外面。第二天的清晨，李渊和王威、高君雅坐在一起处理政务，刘文静引着开阳府司马刘政会来到厅堂上，声称“有密状，知人欲反”。李渊故意叫王威先看，刘政会却不给，说：“告发的是副留守的事，只有唐公才能看。”李渊佯装吃惊地说：“难道有这样的事？”他看了状子才说：“王威、高君雅暗中勾结突厥入侵。”高君雅捋起衣袖大骂道：“这是造反的人要杀我。”这时，李世民已经在大路上布满了军队。高君雅还想争辩，刘文静一声令下，埋伏在后面的长孙顺德、刘弘基等一跃而出，将王、高二人抓起来投进监狱。
正在这时，恰逢突厥数万骑兵入侵太原，其轻骑从外城北门进入，从东门出去。李渊命令裴寂等人率兵防备，而把各城门都打开，突厥人不知虚实，不敢进入。由于如此巧合，大家都以为确实是王威、高君雅把突厥人招来的，李渊便“名正言顺”地把他俩杀掉了。这就是著名的晋阳宫事变，它标志着李渊、李世民父子公开起兵了。
要成大事，首先就要解除后顾之忧。为了预防突厥进攻，李渊派刘文静出使突厥。突厥答应李渊称帝，就派兵相助，并保证不从后面袭击。李渊为了避免引狼入室，没有答应突厥派兵相助，并采纳了裴寂的建议，立代王杨侑为皇帝，尊远在江都的隋炀帝为太上皇，并对突厥称臣。
接着，就是军队旗帜的颜色。李渊军队的旗帜用什么颜色，实质上是从隋朝还是从突厥的问题。因为是刚刚起兵，军事实力也不是太强，所以既不能得罪突厥，也不能太让朝廷注意。这件事虽然不太大，但还是很重要的，比如用突厥的白色旗帜，会不会引起汉族人的反感与憎恨，而不利于招募义兵。如果用隋朝的红色旗帜，会不会收到相反效果呢？因为人民对隋朝的怨恨不亚于对突厥的仇恨。李渊认为主张“杂用绛白”，即旗帜赤白相间，表示既不从属于隋朝，也不依附于突厥。
李渊还让汾、晋的百姓四处传唱《桃李子歌》：“桃李子，莫浪语，黄鹄绕山飞，宛转花园里。”李为国姓，桃谐音就是陶，即陶唐，配上李字，所以这首歌谣又叫《桃花园》。李渊目睹绛白旗幡，耳听《桃花园》之歌，不觉豪兴大发地说：“花园可尔，不知黄鹄如何。吾当一举千里，以符冥谶。”
为了进一步得到人们的支持，李渊在太原打开官仓救济贫民。隋朝在荒年的时候总是闭仓拒赈，令百姓对隋王朝大失所望，于是民愤四起，怨声载道。瓦岗军李密反其道而行之，数次大规模开仓济民，贫民纷纷来投奔李密，使得李密的声势日益壮大。李渊深知其中奥妙，仿效李密，应募之人越来越多，20天内就招募到好几万兵马，并传檄诸郡，自称“义兵”。
李渊起兵之后，辽山县（今山西左权东北）令高斌廉火速派人向朝廷报告。隋炀帝听到奏报后非常恐惧，急忙下令，要洛阳、长安的官员准备防御措施。李渊认为辽山是一座小城，攻不攻都无所谓，不会对义军构成威胁，主要的敌人是西河郡丞高德儒，高德儒挡住了南下的道路，所以必须扫清。
李渊命令李建成、李世民兄弟率军前去进攻西河郡（今山西汾阳）。出发的时候李渊再三勉励他们要努力作战，奋勇杀敌，争取首战胜利。并且任命太原县令温大有为参谋军事协助指挥。当时的士卒都是新招募的，集中起来的时间也不太长，没有经过太多的训练，他们大都不熟悉战阵，更没有进行实战的经验。建成、世民兄弟也都是青年将领，从未单独指挥过一支军队，更何况对手是隋朝的正规军。但是“义兵”也有他有利的一面，比如说军纪严明，上下一心，士气高昂，不像隋军到处抢夺。这也说明了建成、世民在带兵方面还是很有才能的。建成、世民能与士卒同甘共苦，作战时身先士卒，这极大地鼓舞了士兵的斗志，看到主帅甘冒矢石，士卒更是争先恐后。建成、世民严令士兵不准骚扰百姓，如果有敢违反的，就按军法处置。百姓的蔬菜水果，不是买来的就不能吃，看到这样纪律严明的军队，百姓非常高兴，争相送东西慰劳。
建成、世民兄弟二人非常顺利地到达了西河郡，由于一路上广施恩德，西河郡的百姓也都早有耳闻，所以不愿帮高德儒守城。建成、世民下令大军攻城，城上的士兵不愿跟义军拼杀，有的甚至临阵倒戈，所以，没用多长时间就攻下了西河郡。高德儒被抓住斩首示众，以令三军，除此之外没有乱杀一人，对百姓更是秋毫无犯，并且好言安抚，让他们继续以前的工作。建成、世民从出兵到返回太原，只用了9天时间，李渊对这一仗感到非常满意，他认为用这样的军队夺取天下不成问题。
西河一战之后，李渊开始设立大将军府，建立了左三军，任命李建成为左领军大都督，统率左三统军，封陇西公；建立了右三军，任命李世民为右领军大都督，统率右三统军，封敦煌公。士卒称为“义军”。同时让李元吉做太原郡守，留守太原，任命裴寂为大将军府长史，刘文静为司马，温大雅、殷开山、唐俭等人为大将军府麜属，刘弘基、长孙顺德、王长阶等人为统军、副统军。其余文武职员，只要有立功的，便破格提拔。这样一来，李渊用来和各路人马争夺天下的军事、政治机构就组成了，同时也把改朝换代的愿望变成了实际行动。
西河一战打得干净利落，充分显示出了李世民的军事指挥才能。这次胜利有两个很重要的原因：一是李世民和士卒能同甘共苦，打成一片，得到大家的一致认同，士兵肯为他们卖命；二是李世民一再严明纪律，对百姓秋毫无犯，收买民心，彻底瓦解了隋军，使得义军以迅雷不及掩耳之势攻下了河西郡。
大业十三年（公元617年）七月，李渊誓师于野，留元吉守太原，他亲自率领建成、世民从太原出发。同时给李密去书一封，告诉李密说，他才是真命天子，自己应当帮助他成就帝业。
李世民说：“此书一去，李密专意图隋，我可无后顾之忧了。”
李密得到李渊写来的书信，果然很高兴，并且回书给李渊。李渊更加放心了。
李渊率军南下，行到贾胡堡的时候，恰好赶上天降大雨，一连几天的大雨使道路变得泥泞不堪，无法行军。隋朝内部已经知道李渊起兵反隋了，代王杨侑惊慌不已，急忙派隋朝虎牙狼将宋老生屯兵霍邑，用精兵两万阻挡“义师”。又派隋朝骁卫大将军屈突通镇守要地河东，以阻止李渊集团南下。
