对于贺若弼的弹劾，杨坚只是下诏杨素罚奉一年，算是给朝野一个交代。但是贺若弼自然是不依不饶，请求严惩杨素。杨坚内心恼火，不予理睬。
远在扬州的杨广听闻此事大松了一口气，对于贺若弼的半路杀出，杨广不免有几丝慌乱，他自然知道贺若弼和父皇的关系，不免有几分担忧。
杨广和杨素暗中商议利用虞庆则一事在朝野暗中造谣诬陷高颎，说高颎与虞庆则同流合污，密谋造反。但是朝野中的许多官员都为虞庆则鸣冤叫屈，特别是贺若弼弹劾杨素，令整个形势急转直下。若不是母后从旁劝说杨坚，杨素若真的被处置，那杨广在长安便失去了重要的臂膀，以后恐怕是寸步难行。不知觉间对贺若弼更加记恨。
杨广清楚的知道，若想让杨坚废黜太子，必然首先置高颎于死地，至少要让他离开朝廷，否则一切都无济于事。遇事宇文述和杨约密谋要趁热打铁进一步陷害高颎，彻底将高颎击溃，免得夜长梦多。他们将目光投向了高颎的另外一位心腹王世积。
高颎似乎早就有所觉察，特意召来王世积让他离开长安。
“世积，如今形势险恶，虞将军不在了，他们的下一个目标很可能便是你。你还趁早离开长安这个是非之地吧，不要引火烧身。”高颎叹道。
“大人，难道我们就这样任人宰割吗？”王世积不满地说道，“大人，三军将士对您敬重有加，您在军中的威望也抵得过当今圣上，大人为何这般胆战心惊，我们足以对抗他们？”
“世积，我知道你们的想法，你们的愤怒。我是振臂一呼，率领你们与皇上对峙乃至兵戎相见。但是我不能，也不会容许你们任何人有这等举动。若是这般，那我们便会重蹈过往朝代的覆辙。二十年来盼来的天下一统毁于一旦；突厥也会蠢蠢欲动，南方也会再次分裂，天下会再次兵连祸结，百姓会再次哀鸿遍野。我们这是在自相残杀，制造天下悲剧。我们的初衷或许是拯救天下，恐怕到头来做的是祸国殃民之事。”
“大人，我死不足惜，但是他们一定会变本加厉的对付您，还有太子，将来若是杨广得到天下，那才是天下的悲剧，黎民的苦难。”
高颎也叹息了一声，“皇上是圣明的，现在只是被人蒙蔽。皇上早晚会醒悟的，若是我们坚持到那一天，他们所有的阴谋都不会得逞。”
高颎望着王世积，正色说道：“世积，到了凉州一定要谨言慎行，为了不连累你们，从此与我不得再有联系。无论发生了什么事，你们都万万不可为我出头。”
“大人，他们不择手段，恐怕大人孤掌难鸣。”王世积担忧地说道。
“世积啊，我可以出头露面，皇上与我情意深重，情同手足，不会轻易对我开刀的。只要能保住太子之位，老夫就是死而无憾了。但是以后的路，还需你们来保驾护航。长安的事情就不能再殃及无辜了。所有的事情都由我一力承担，就让他们把所有的矛头都指向我吧。”
杨坚决定将东宫卫士名簿交由禁卫府管理。抽调勇健的东宫卫士宿卫皇宫。这一举动让朝野大惊，高颎便上奏道：“陛下，若是尽取强者，恐怕东宫宿卫太劣，为太子安危着想，还望皇上重新考虑。”
杨坚愤然作色，“太子居长安，长安乃首善之区，东宫又禁卫森严，何须壮士。朕经常出入长安，宿卫自然要得勇毅。”
“皇上，这乃是前朝惯例，若是太子有不测，陛下恐怕会后悔莫及。”
杨坚大怒，“这才是最大的弊端，东宫养士是何居心，太子目无王法，有恃无恐，应与此有关，朕会下诏每月轮换太子宿卫，以监督和约束太子。”
杨素知道现在还没有足够的实力和高颎正面交锋，想要扳倒高颎只能采取迂回策略，他们还是将目光盯上了离开长安前往凉州的王世积身上。
不久前发生的一件事让杨素和杨约暗中欣喜若狂。王世积的亲信皇甫孝谐犯罪，从长安前往凉州投奔王世积。王世积在这个时候岂敢私藏，拒绝接纳。杨素将皇甫孝谐捉拿归案后，经过仔细谋略，决定将皇甫孝谐发配桂州。桂州总管乃是郭衍，正好可以争取皇甫孝谐。
果然皇甫孝谐在郭衍的威逼利用下，按照郭衍的指示向杨坚奏疏说王世积曾请道士看相，道士说他贵为国君，夫人当为皇后，在凉州任上，亲信曾说道，‘河西乃天下精兵之处，可以图大事’，王世积却说，‘凉州土旷人稀，非用武之国’。足见其图谋不轨。
皇甫孝谐的奏疏抵达长安后，杨坚也果断地下了一道奏疏，将王世积押京审讯。
