天下一乱，隋炀帝的心也乱了，见谁都怀疑不可靠，并开始戒备唐国公李渊。
李渊本是隋将，他的祖父李虎，是西魏八柱国之一。李渊七岁时便世袭唐国公。公元616年，隋炀帝任命李渊为太原留守。尽管李渊非常地尽心尽力，想博得隋炀帝的赏识，可是隋炀帝还是不信任他，另派自己的心腹王威、高君雄作太原副留守，监视他的行动。李渊敢怒不敢言。
李渊有四个儿子：李建成、李世民、李玄霸、李元吉。其中李世民最有远见卓识和雄才大略，他看到当时全国风起云涌的反抗斗争，认为隋朝的统治不会长久，只有趁现在天下大乱的时机，夺取政权，才能保住家族的地位和利益。于是，他就开始秘密行动了。
李世民知道光靠自己是不行的。必须找几个有本领的人帮助自己才能成大事。他观察自己周围的朋友、幕僚，发觉有个被关进监狱的地方官刘文静倒是个很有头脑的人，能为自己所用。于是，李世民就到监狱去探望他，试探他说：“像您这样正直的人也被关进大牢，这世道真是忠奸不分哪！”刘文静激愤地说：“如今还有什么忠奸可言！除非有汉高祖、光武帝那样的英雄人物，不然，天下是安定不了的！”李世民赶忙说：“怎么知道没有这样的人物？只怕是一般人发现不了。今天我来这里，就是想和您商讨天下大事，听听您的高见。”刘文静十分高兴，笑着说：“我到底没有看错公子，现在天下大乱，烽烟不断，皇上却只顾在江南游玩，这是个好机会。太原城里有的是豪杰，唐国公手下有八九万军队，只要振臂一呼，杀出关去，用不了半年，天下就可以到手！”李世民说：“只怕家父不同意，怎么办？”刘文静想想，附在李世民的耳边说了几句话，李世民点头微笑。
第二天，李世民就派自己的亲信带着几百钱财去找晋阳宫监裴寂赌博，借此与其搭上关系。过了几天，李世民请裴寂喝酒，随后裴寂又回请李世民。一来二去，两人的关系十分密切了。一次，李世民突然发愁地对裴寂说：“皇上把我们李家看作眼中钉、肉中刺，真是朝不保夕啊！看来局势早晚将有大变！我很想乘机干一番事业，只怕我父亲不同意，您看怎么办呢？”裴寂和李渊的交情很深，听李世民这么说，想了想，说：“公子不必着急，我自有办法。”
裴寂想起，不久前李渊曾收下了他送去的晋阳宫的两个宫女，便在这件事上作起文章来。一天，他请李渊喝酒，两人喝得醉眼蒙眬的时候，裴寂就说：“都是我害了您，我送您两个宫女的事，怕要传出去了……”李渊大吃一惊，吓得酒醒了一半。私留宫女是灭门之罪，这可如何是好！裴寂赶忙说：“二公子世民怕事情败露，招来大祸，正在招兵买马，网罗人才。我看先下手为强，起兵反隋，也许成功。”李渊低头沉思了一会儿，无可奈何地说：“事到如今，也只好如此了。”李渊走后，裴寂忙派人把这个情况告诉了李世民。
从这以后，李渊一想起宫女的事就发愁，吃不好，睡不下。偏偏这时候他手下的将军又在打仗中失利，李渊更加不安，生怕皇上怪罪下来。一天，他正在屋里踱来踱去，焦虑地想这些事，突然闯进一少年，说：“大人，您不当机立断，还待何时？”李渊一看是李世民，便问：“你有什么主意？”李世民说：“大祸临头了。不如这时顺应民心，举兵反隋，夺取天下。我观察了天下大势，才敢这么说。您一定要告发我，我只好听命。”李渊叹气道：“我怎么忍心告发你。只是，以后你可要千万小心，不要随便说这样的大胆言辞。”第二天，朝廷命令李渊出兵去镇压农民起义军。李世民劝李渊说：“大人不要再犹豫了。平不了盗贼，是您的罪过，平了盗贼，也不会得到信任。还是快作主张吧。”李渊走投无路，这才下定决心，起兵反隋。
李世民先是冒充皇帝的命令下一道公告征兵，引起老百姓的强烈不满。接着又想出一条公开招兵的妙计。一天，李渊对两位副留守说：“叛匪头子刘武周现在占据了汾阳宫，要立即平叛。可是天子远在天边，这如何是好？”王威、高君雄说：“事情紧急，留守这时候就自己决定吧。”于是，李渊就名正言顺地打着“讨贼”的旗号，派李世民、刘文静到各地征兵，又暗地里派人去通知其他几个儿子和女婿到太原相会。
不久，李渊的兵力急速加强，又都由他的亲信统率。王威、高君雄起了疑心，决定暗杀李渊，不想消息走漏。李渊和李世民先下手除掉了隋炀帝的这两个耳目，然后诬告他俩阴谋引敌入侵。这就是“晋阳宫事变”。
但在这时候，天下各路英雄都在割据地盘，更有突厥骑兵数万人不时南侵。李渊要想实现自己的计划，首先要解决与突厥的对峙局面。
突厥是我国北方一个古老民族，原是匈奴的别支，早先游牧于中亚叶尼塞河上游，后来迁徙到高昌的北山。北魏末年，突厥已控制了西域大部分地区，居于高昌（今吐鲁番）附近的各部落已进入封建社会，他们为了掠夺财富，不断向中原进犯，滚雪球似地日渐兴起。这个马背上的民族体质强健，骁勇善战，又在不断征服北方各少数民族的过程中逐渐发展壮大，到北齐、北周时期，已经相当强盛了。中原割据政权大小十几支，都曾争相与之联姻，纳贡称臣。但由于突厥是个多民族的混合体，因此一直存在尖锐的内部矛盾。隋文帝时，他们分裂为东西两部，东突厥因在隋朝的北部，故又称北突厥。隋文帝采纳名将长孙晟的建议，对突厥各部落施以分化离间策略，致使突厥势力衰落。东突厥被隋军击败，遂向隋文帝称臣，西突厥也一度止兵息戈。如今隋朝内乱，突厥经过一段时间休养生息，又兴兵掠地抢粮来了。
刘文静向李渊建议跟突厥和好，这样不仅可以解除后顾之忧，还能借助突厥骑兵的力量，可收一举两得之益。李渊接受了刘文静的建议，主动给突厥首领始毕可汗修书一封，内中言道：“当今隋国形势大乱，百姓水深火热，如不挺身而出，恐遭上天责罚。我现大举义兵，志在绥靖天下，将困在远方的皇帝接回朝中，并与突厥继续亲和，对突厥的好处一定超过开皇时期……如果突厥可汗能够支持我，不侵扰我的百姓，那么我在征伐过程中所得到的一切子女、玉帛，将全部送与可汗。”
李渊遂命刘文静为特使，去拜见突厥首领始毕可汗。不久始毕可汗回话，对李渊提出的“超过隋朝给突厥的好处”一项特别喜悦，并建议李渊不必“远迎主上”，而应取而代之。裴寂、刘文静等人都赞成突厥可汗的意见，认为大将军应索性称帝为尊，何必“掩耳盗铃”。李渊仔细考虑，认为目前实力还不是很足，树大招风，不如暂伏其爪。于是打出一个折中的旗号：尊隋炀帝为太上皇，改立隋炀帝的孙子杨侑为皇帝，李渊以大丞相之名掌国。
及至李建成、李元吉和柴绍率军队前来会师，李渊便正式建立自己的大将军府，并传檄四方号令天下。檄文称：当今圣上执政不当，请退位去做太上皇，由代王杨侑接替皇位。檄文历数隋炀帝之罪，自称义师，欲解天下百姓于水火。
公元617年7月2日，亦即隋炀帝大业十三年五月二十四日，李渊正式宣布起义。这日，晋阳军门前，但见旌旗猎猎，鼓角铮鸣，三万人马宣誓出征。李渊将所率之部分为左、右、中三路大军，以长子李建成为陇西公，并左领军大都督；次子李世民为敦煌公，并右领军大都督；以李元吉为姑臧公，代表李渊率中路军。李渊则由裴寂等人上尊号为大将军，裴寂为大将军府长史，刘文静为司马，唐俭和原隋大兴城尉温大雅为记室，温大雅与其兄弟温大有共掌机密。武士彟任铠曹，刘政会等三人任户曹，原隋晋阳长史姜暮任司功参军。柴绍任右领军府长史，配合李世民工作。
于是，这支在农民起义的风暴中、从隋朝统治集团内部分裂出来的武装力量，正式踏上了反隋的进军道路。大军阵容整齐，精英如云，一路浩浩荡荡，向隋都大兴城进发。随同出发的还有两支突厥兵马：东突厥始毕可汗派来的康鞘利率领的两千骑兵，西突厥阿史那大柰率领的一支步兵。李渊又派通议大夫张纶带兵去招抚稽胡，即从中亚移居汾水的昭五九姓部落，那些兵将骁勇异常。
三天后，李渊大军第一役便攻下西河城，擒斩西河郡丞高德儒，收其部将，慰劳当地军民官吏，并给穷困者发放赈济钱粮。八月初，又拿下霍邑，之后连克临汾（今属山西）、绛郡（今山西新绛）、龙门（今山西河津）诸郡，很快便打开了通往关中的门户。中旬，敦煌公李世民率右路军受命夺取渭北，大军沿渭水西进，沿途守军纷纷归附。抵达渭阳之时，李世民的队伍已发展到九万多人。
