爹不高兴了，娘不高兴了，大臣也站到对立面，此时的杨勇已经成为孤家寡人，他的手已经碰到了高压线，废立也只是时间问题，等待的就是最后一根稻草压下来。从心理上说，杨坚是不想废太子的，毕竟杨勇是他平民时期所生，而且近二十年来一直作为储君培养，再说培养了二十年再废掉，那不是向全天下宣告你杨坚的眼睛长斜了吗？所以不到万不得已，杨坚是不愿意亲手废掉自己辛苦培养二十年的储君，只可惜，独孤皇后不这么想，杨广不这么想，杨素同样也不这么想。此时住在仁寿宫（离长安一百多公里的行宫）的杨坚想了解一下杨勇的动态，因此就让杨素回长安探听一下，结果这次探听让杨勇雪上加霜的日子又加了一层霜。杨素到了东宫门口，故意在外面磨蹭了半天，而里面的杨勇穿戴整齐一直在做耐心的等待。等待着，好几杯热茶都变成了凉茶，杨勇的耐心也随着茶的凉去磨没了，烦躁的表情溢于言表。磨磨蹭蹭的杨素进来拜见的时候，杨勇已经烦到了极点：“这些人怎么这么不着四六，一点时间观念都没有呢？”其实人家杨素不是没有时间观念，而只是故意磨蹭激怒杨勇，进而造成杨勇愤怒的事实。
果不其然，杨素回去报告杨坚：“太子面有怒色，似乎很不满！”什么是小报告，这就是小报告，省略了前因，直接描述过程，最后夸大后果。“太子面有怒色”这个不假，但原因是杨素磨蹭耽误时间，“太子很不满”那是对你杨素狗眼看人低不满，而不是对皇帝不满。不过这些已经解释不清楚了，在杨坚看来，“太子面有怒色”就是对自己不满，现在的结果已经不是“太子很生气了”，已经转化成“皇上很生气”，后果嘛，等着看。虽说在废立太子的问题上，独孤皇后是主张废的，但拿大主意的还是杨坚自己，独孤皇后的喜欢与否只是废立的一个指标，而杨坚的安全感则是废立的根本。杨坚最终有了废立之意，最根本的还是没有了安全感。一个皇帝没有了安全感，那什么事情都有可能发生了。实际上，在专制社会里，皇帝是最有安全感的，同时也是最没有安全感的。作为皇帝你可以动用上百万人护驾，这上百万人增加了你的安全感，但同时也增加了你的不安全感，因为上百万人增加的只是表面的安全，而不安全感却始终在你的内心深处。在不安全感的支配下，杨坚开始行动。
首先在皇宫附近、东宫左右安插了很多眼线，这些眼线不是来旅游观光的，而是密切监视太子的行动。接着太子宫中军官以上的兵籍全部回归十二禁军府管理，这就意味着这些军官以后不再归太子直属管理，而只是作为禁军派驻，这下就等于解除了太子府的武装。这还不算完，即使作为禁军派驻，杨坚还把精壮的士兵全部抽走，留下来守卫太子府的全都是老弱病残。将来有一天如果太子准备起事，就只能用这些老弱病残了，到那时候，明白人知道“这是太子在造反”，不明白的还以为是“太子组织的老弱病残运动会呢”。即便解除了太子府的武装，杨坚还是不想废太子，急得杨广一方直挠墙。在快挠破一堵墙之后，他们又想了一招：“无间道”。何谓“无间道”呢？就是策反东宫的官员。只要东宫的官员出来指证杨勇谋反，那么你杨勇还往哪里逃呢？古往今来的事实证明，适当的恐吓加上适当的威逼利诱之下，总有一小撮要钱不要脸的人存在，太子府里的一个叫做姬威的人就这样成了无间道，他的上书让杨勇与杨坚的矛盾不再是父子矛盾，而上升成国家矛盾。他的上书内容很简单：“太子谋反。”看到这几个字，地球人都知道接下来要发生什么了。
