杨素走了，另外一个人也走了，这个人还比杨素早走一天，这个人就是杨广的太子杨昭。这下杨广的工作强度加大了，悼词一下得写两份，一份给杨素，一份给自己的儿子杨昭。史书记载：太子是累死的，是被工作累死的，起因则是身体肥胖。身体肥胖的太子要在父亲面前尽到做儿臣的礼节，频繁的下跪也就免不了了。对于别的大臣来说这是生理本能，而对于多背了三袋面的杨昭来说则是不小的折磨，每次上朝回来都要喘半天。加上杨广交给他的工作比较多，累积下来，终于积劳成疾。按照杨广的安排，杨广在洛阳的时候，太子杨昭就得在大兴留守，所以杨广就催着太子杨昭回大兴看家。已经累出病的杨昭请求在洛阳多住几天，结果父亲很不高兴，也没有同意。太子杨昭没有办法，一咬牙，一跺脚，走，上路！回大兴？不，天堂！咱永远不回来了！（看来确实不能给身体肥胖的人太多工作量。）太子杨昭在后世的口碑非常好，他被自己的父亲追认为元德太子，他被全天下的人称为仁慈贤良。一个原因是因为他比较洁身自好，另外一个原因可能是因为他去世早，没有太多的把柄落在别人手中，表叔李渊也不好往他身上泼太多的脏水。
因此他也就成了隋朝皇室中少有的几个被称道的人物，原因就是因为他去世得早。（什么世道！）杨昭走了，却留下问题一串，谁来当太子呢？之前说过由于独孤皇后疯狂的嫉妒心作祟，杨广不敢有非嫡出的子女，即使小老婆中已经有人怀孕，甚至已经生产，他都不敢把孩子留在世上。这样等到他登基称帝的时候，他的名下只有二子二女（幼子杨杲出生于登基后），对于帝王来说，这样的梯队厚度太单薄了，一旦有意外，谁来拯救皇室呢？现在意外来了，太子杨昭去世了。此时杨广名下只有两个儿子，一个是齐王杨暕，一个是幼子杨杲（时年一岁），太子之位要么杨暕，要么杨杲，二选一，选择范围实在太小了。当时的人都以为太子之位应该是杨暕的，毕竟杨暕已经二十多岁，而杨杲只有一岁，把国家托付给一岁的娃娃，那开玩笑了。然而事情坏就坏在“大家都以为杨暕将成为太子”，而他自己也是这样认为的。在我们参加高考的时候老师都会教导我们说：“要一颗红心，两手准备，考上大学是建设四化，考不上的同学同样也能建设四化。”可惜老师这样的教导杨暕听不到，在他那里，只有一颗红心，一手准备，而人一旦到了这个程度，结果往往是悲剧。
杨暕以为自己是太子的天然人选，由此就放松了警惕，也放松了对自己的要求，悲剧也就随之而来了。之前杨坚放松对自己的要求，结果身体垮了；后来杨广放松对自己的要求，结果国家垮了；现在杨暕放松对自己的要求，结果到手的太子之位飞了！悲剧不是一朝一夕铸成的，而是杨暕经过一年多的努力铸就的。杨暕这个人没什么大毛病，就是有点好色，而且还因为好色坏了父亲的好事。杨暕的手下有三名官员专门为他办这种私事，他们分别是乔令则、库狄仲錡、陈智伟，这三位都是杨暕的总管，直接服务于杨暕的私生活，哪里有美女，哪里就有他们，他们就是杨暕的星探，专门采花的星探。如果仅仅在民间猎艳还不至于让杨广震怒，毕竟这都是小节，不算大事，然而随着一个柳姓美女出现，父子之间的龌龊随之而生。这个柳姓美女是前朝皇后、皇姐杨丽华首先介绍给杨广的，当时杨广可能正在想别的事，压根没往心里去，柳美女进宫的事情就此搁置。没想到皇姐杨丽华也是个好事的人，看弟弟杨广不喜欢，索性转手将柳美女介绍给侄子杨暕，总之帮柳美女在杨家找到了一个归宿。
通过姑姑杨丽华的介绍，杨暕迅速把柳美女接了过去，心里对姑姑充满了感激：“到底是亲姑姑，什么好事都想着侄子！”杨暕的感动没有延续太久，过了一段时间，百无聊赖的杨广突然想起了杨丽华向他推荐的柳美女，这才回头问老姐：“你上次给我推荐的那个美女呢？”杨丽华不以为然地白了他一眼：“我以为你不要呢，现在人已经在杨暕那里了！”杨广皱了皱眉：“这孩子怎么什么都抢呢，他不知道朕不给，他不能抢吗？”自此芥蒂已经在杨广的心中产生，愤怒也在一点点累积。到了公元608年，已经被儿子抢走美女的杨广又被儿子恶心了一把，这一次让杨暕的太子梦彻底破碎。这一年杨广下诏兴建了汾阳宫，汾阳宫是皇帝的离宫之一，功能相当于国家招待所。之所以在汾水发源地兴建汾阳宫，主要有三个原因，第一个原因是术士说此地王气很重，杨广希望通过建离宫压一压此地的王气（按照唐朝的说法这里的王气是属于李渊的）。第二个原因是这里风景好。
第三个原因是这里野生动物比较多，非常适合打猎，而杨暕的太子梦碎就是因为打猎。杨暕跟随杨广前往汾阳宫周围猎场打猎，父子俩各自带领人马围猎，本来是父子亲切交流围猎心得的机会，最后却变成了杨广的雷霆之怒。事情的起因很简单，就是因为杨暕太不懂事了。杨暕亲自带一千士卒围猎，捕获了大量麋鹿，而杨广亲自带队的那一组，居然一只麋鹿都没有打到，别说麋鹿了，连只野兔都没有，皇帝的脸上有点挂不住了。杨广愤怒地盘问手下的官员，官员们也无可奈何：“我们有什么办法，附近都被齐王杨暕的人围了，根本不让野兽进来！”“小子啊，你这是诚心恶心我呢！”自此杨广的气愤到了极点，自己忍辱负重了十几年才登上皇位，没风光几年就遭遇二小子拆台，爷俩打猎，连只麋鹿都不给我，以后还能指望他什么呢？这样的人能当太子吗？一个美女，数只野兽，再加上若干件不拘小节的小事，杨暕在父皇心中的信任度急剧下降。
杨广授意手下的官员寻找杨暕的过失，结果一找一大把，这个孩子的过失实在太多了。过失一：隋制县令不能无故离境，杨暕却因为打猎的缘故把跟自己交好的一个县令违规带到了汾阳宫。过失二：王妃韦女士早逝，而杨暕却与韦女士的姐姐通奸，而大韦女士是有主的，她的身份是元夫人。然而就是这位元夫人给杨暕生了一个女儿，杨暕让相面师给元夫人相了一下面，相面师撂下了一句话：“这个生女儿的会当皇后！”（这话要是让独孤皇后听见能气得从地下蹦出来。）过失三：祈求鬼神，使用邪术，诅咒侄子。因为太子杨昭的身后还有三个儿子，从封建帝王传统的继承方法来看，这三个侄子与杨暕都有继承大统的权力，因为他们也有可能以皇太孙的身份继位（明代建文皇帝就是以皇太孙的身份继承朱元璋的大统）。为了搬掉这三块绊脚石，杨暕想到了诅咒，使用了扎小人等诅咒方法，结果三块绊脚石没搬掉，自己却被老爹搬掉了。
有了这三大过失，再加上美女和麋鹿的芥蒂，杨暕的太子梦碎了。从此在杨广的心里，这个孩子就被盖上了黑章，人家大使馆盖黑章是拒绝入境，杨广盖黑章则是“这孩子永不重用”。自此杨暕只担任洛阳市长，不准参与中央事务，而且他还创造了一个就业岗位：定点监督员，杨广指定一名虎贲郎将定点监视其住处，一有情况马上汇报。另外遇有皇帝巡游，杨暕必须陪同出巡，不是因为待见他，而是怕他谋反！宇文化及江都兵变时，不明就里的杨广对萧皇后说：“莫非是老二造反？”等宇文化及派兵去杀杨暕时，杨暕以为是父皇要杀自己，高喊：“请钦差大人禀告父皇，儿臣不敢造反！”父子相似到了这个程度，这也算父子一场！太子死了，次子废了，杨广的子嗣只剩下时年两岁的杨杲了。相比表哥李渊的二十二个儿子，杨广的战斗力是要受到鄙视的，没办法，这个事情还真没法比，有时干着急也没办法。在杨广看来，太子位空缺不是问题，他还有的是时间，然而定时炸弹已经给他绑上了，表哥李渊和李密他们并不打算给他太多时间。
