杨广又采纳了亲信宇文述的计策，去请当朝的重臣杨素来帮忙。杨广让宇文述先找杨素的弟弟杨约，因为杨约和哥哥杨素的关系非常密切。宇文述经常陪杨约赌博，而且故意输给他很多的钱，借机将杨广的意图告诉了他：“你们兄弟俩现在和杨勇矛盾很深，如果将来他继承了皇位，那你们也难逃一劫。”杨约赶忙问怎么办，宇文述便请他说服哥哥杨素，顺应皇上已经有的废太子的意思，推荐杨广继任太子之位。杨素兄弟最终答应了杨广的要求。
在杨素的努力下，逐步清除了支持杨勇的大臣，最后使杨坚下决心将杨勇废为庶人，立杨广为太子。为了进一步巩固太子之位，杨广让杨素编造罪名，陷害弟弟杨秀，使他也被杨坚废为庶人。
我现在活着他还这样对待你，哪天我死了我不知怎样害你们兄弟呢。等你父皇驾崩以后，想到你们兄弟得向那个云妃小妖精拜跪称臣，为娘我真是心如刀绞！”杨广闻言再拜，呜咽不止。独孤后也抱持着儿子大哭。接着，杨广乘机人宫在独孤皇后面前痛哭失声，伪称太子勇要杀他。独孤氏大怒，咒骂杨勇如“豚犬”，决意废太子勇。
杨广又贿赂宫室，上下称广“仁孝”。看相的术士对文帝说：晋王广“贵不可言”，嗣皇位者，“皇后所最爱者当与之”。在这一系列假象的蒙蔽下，文帝遂有废勇之意。由此，独孤皇后已经下了废掉杨勇的决心，日夜不停在杨坚面前说杨勇坏话，杨素等大臣也推波助澜，加之杨勇在冬至于太子宫中张乐接受百官朝贺，犯了大忌，老皇上最终也决定废嫡。
602年八月，皇后独孤氏病逝。太子杨广进宫拜见父皇时哀恸气绝，装出万分悲痛的样子。回宫以后，他饮食欢笑，一如常日。为了表示思母过哀，饮食不思，杨广对外声称每天只吃两勺米，在灵前嚎哭跪伏，私下派人精制猪鱼肉脯，装在竹管里以蜡封口藏于袖中，瞧见没人就吃上几口这特制的“压缩干粮”，继续演戏。独孤皇后死后，压抑一辈子的老皇帝终于有机会一畅其情，天天搂着宣华夫人陈氏和容华夫人蔡氏大搞天地一家春。老房子起火，没两年就淘虚了龙体，疾病大生。杨广作为皇太子入居大宝殿，杨素等大臣入内殿侍疾。
大业十四年（618），杨广最亲信的大将字文化及率领禁卫军入宫。杨广逃到一个小房间躲藏，被一位恨透了他的宫女指出所在。禁卫军把他拖出来，杨广还恬不知耻说：“我有什么罪，要这样对我？”禁卫军当面把他最心爱的幼子，12岁的杨杲杀掉。杨广这时才发现当公爵已没有希望，他要求服毒自杀，禁卫军不愿浪费时间，将他勒死，这年他正好50岁。
老三秦王杨俊，少年时代“仁恕慈爱，崇敬佛道”，长成之后，逐渐奢侈，盛治宫室，广敛民财，违越制度。杨俊王妃崔氏虽为大族之女，但和自己的婆婆一样，嫉妒成性，看见夫君好色，很少来自己的房中安寝，便于瓜中下毒，想把丈夫毒死。但心慌意乱之间，毒药分量是没下够，结果把杨俊弄得半残，隋文帝知道消息，征杨俊入朝，觉得这个儿子也太窝囊，免去实官，软禁于京，同时赐死胆大包天的崔氏。病榻緾绵，杨俊颇有悔悟，上表向父皇谢罪。杨坚不仅不安慰要死的儿子，反而下诏“切责之”。惭怖之下，杨俊终于死去。虽不算善终，也称得上是“安死”。杨俊有两子，杨浩、杨湛。宇文化及弑隋炀帝后，杨浩曾经当过数日“皇帝”，后来觉得没用，就把两兄弟全部杀掉；
老四蜀王杨秀，“有胆气，容貌瑰伟，美须髯，多武艺”，不知为何，隋文帝很厌恶他，常对独狐皇后讲：“杨秀必不得好死。我活着的时候他不敢闹事，等他哥哥当皇帝后这小子肯定要造反”。杨秀自己也不捡点，在蜀地“违犯制度，车马被服，一拟天子”，真是关起门来做皇帝。大哥杨勇疲废，二哥杨广成为皇太子，杨秀“意甚不平”。杨广闻知，指派杨素向老皇帝进言，搜集罪状，说四弟有异心，把杨秀征还京师，锁进大牢。盛怒之下，杨坚愤言：“当斩杨秀于市，以谢百姓！”杨广也火上加油，派人做两个小木人，分别写上杨坚和汉王杨谅的名字，“缚手钉心，令人埋之于华山下”。然后，杨广又指派杨素等人把偶人挖出，诬称杨秀所为。杨坚暴怒如狂，马上废杨秀为庶人，禁锢终身，诛杀他手下数百僚属。炀帝继位，仍维持对四弟“无期”徒刑的原判，巡行各地时总把杨秀押在队伍之中。宇文化及弑逆，杨秀与诸子也被杀。
老五汉王杨谅，特为杨坚宠爱。开皇十七年，出任并州总管，老皇帝亲自出宫饯送。“自山以东，至于沧海，南拒黄河，五十二州皆隶焉”。大哥杨勇被谗废后，杨谅“自以所居天下精兵处，居常怏怏，阴有异图”，并以防突厥为名，缮治甲兵，大发器具。杨坚死后，隋炀帝征杨谅还京。杨谅在南陈旧将萧摩诃等人协助下，扯旗造反。可惜的是，杨谅无远谋，无胆识，又不听手下文臣武将的谏劝，很快就被隋炀帝派来的老将杨素击败。穷蹙之下，只能出降。押送京师后，隋炀帝还假意说自己兄弟无多，饶杨谅一命，“除名为民，绝其属籍”于是，炀帝任命素为并州道行军总管、河北道安抚大使征讨谅。临战前，杨素先杀军士三百余人，然后进军破谅于晋阳，谅被囚禁而死，所部吏民坐谅死徙者二十余万家，杨素平谅之时，炀帝派约送手诏嘉奖，“公乃建累世之元勋”，忠心可鉴，有隋之周勃、霍光。素上表答谢日：我建立功勋并非由于才能，而是“伏惟陛下照重离之明，养继天之德，收臣于疏远，照臣以光辉”。随后，炀帝就把这位五弟幽禁，活活饿死。杨谅只有一子杨颢，宇文化及大杀宗室时也遇害。
因此，史官叹道：“高祖之子五人，莫有终其天命，异哉！”
在遗诏中说：人生子孙，谁不爱念，既为天下，事须割情。勇及秀等，并怀悖恶，既知无臣子之心，所以废黜。古人有言：“知臣莫若于君，知子莫若于父。”若令勇、秀得志，共治家国，必当戮辱遍于公卿，酷毒流于人庶。今恶子孙已为百姓黜屏，好子孙足堪负荷大业。此虽朕家事，理不容隐，前对文武侍卫，具已论述。皇太子广，地居上嗣，仁孝著闻，以其行业，堪成朕志。但令内外群官，同心戮力，以此共治天下，朕虽瞑目，何所复恨。也就是说，他自己认为，杨勇不堪重用，只会贻害后世，而杨广仁孝，能够担当大任。对于这一点，后世史家当然眼睛明亮了，毫不客气地给予批评，慨叹道，隋文帝听信妇人的话，受到邪臣的蛊惑，立杨广，废杨勇，结果托付失所，灭父子之道。公元600年，杨勇废为庶人，改立杨广为太子。
继位布局：
杨广即位后，开始审视古今风流人物，自隋朝上溯，只有秦皇汉武勉强可以入他的法眼。史书记载，杨广“以天下承平日久，士马全盛，慨然慕秦皇、汉武之事”，他觉得自己完全有能力担当更大的历史责任，所谓“奄吞周汉，振古以来，一君而已”，他的目的是实现“日月所照，风雨所沾，孰非我臣”的政治理想，成为“子孙万代，人莫能窥”的千古一帝，秦始皇只留下了长城，他却将给后世留下功在万代、远比长城更有实用价值的大运河。隋炀帝非常有才，但也相当自负，他经常对侍臣曰：“天下皆谓朕承藉绪馀而有四海，设令朕与士大夫高选，亦当为天子矣。
”意思是，世人都说，我是太子才有天下的，呵呵，如果通过科举考试选皇帝，那我也是第一。著名才子薛道衡死后，隋炀帝幸灾乐祸的说道：“呵呵，你还能做‘空梁落燕泥’诗句吗？”王胄死了，隋炀帝也不放过他，调侃道：“‘庭草无人随意绿，多好啊！你再做一首我看看。”为了完成这一伟大的政治理想，一场轰轰烈烈的建设运动在隋帝国开展起来。隋炀帝认为，作为大国的君主，做任何事都要有大国的气派，因此，听不得任何反对意见，还从容不迫的对秘书郎虞世南曰：“我性不喜人谏，若位望通显而谏以求名者，弥所不耐。至于卑贱之士，虽少宽假，然卒不置之地上。汝其知之！”意思是，我天性不喜欢所谓直言进谏的人，都说他们忠诚，但我最不能容忍。你们如果想升官晋爵，一定要听我的话。”
所谓“攘外必先安内”，炀帝大业元年（公元605年）二月，一口气干了八年宰相的杨素，终于老态龙钟了。在过去谋权篡位的过程中，隋炀帝和他同舟共济狼狈为奸，两人结下很好的友谊，合作的非常愉快，杨素如日中天的时候，除牛弘等少数官员外，朝中百官几乎没有一个不遭到他的凌辱践踏。炀帝坐稳江山后，开始思考解决杨素的问题，他的门生故支遍天下，严重威胁着皇位。更疑惧的是，政变黑幕是杨素与他一手策划的，前因后果、细枝末节，杨素了如指掌，杨素可帮助他篡位，也可另立立帝取而代之。
