杨素从心里感激晋王，感激宇文述，如果没有他们的提醒点拨，他对自己的前途预测仍然是一片晦暗。
当杨约前来将宇文述的话转述之后，杨素当时出了一身冷汗。宇文述竟将他们兄弟二人的险恶处境分析得如此精辟透彻，何去何从自然须当机立断了。因此他对夺嫡之策拍手叫好。在此之前，杨素早就看出了陛下对太子的疏远和反感，也听到太子许多忌恨自己的话，更清楚文武百官中确有不少人恨不得将自己杀掉，真有累卵之危。但他却从没想过（或许是不敢想？）可以劝动皇上用废立之计转危为安。他对宇文述说自己没想到那么深的一层，的确是心里的话。
在宇文述面前，杨素只承诺自己出面去劝动皇上，并没许愿能有几分把握，这仅仅是出于谨慎。其实他心里明白，只要自己出马，事情就有了七成。好长时间以来，杨素明显地感觉出皇上对太子的防范一步一步地严密起来，那一次他奉旨去东宫探察庶人村一事，回来后在皇上面前添油加醋地说了一通太子如何如何忌恨怨怒的话。皇上当时只是听着，没有作声。但杨素后来发现皇上对太子有了进一步的行动。首先是此后不久，东宫左卫率苏孝慈被召调为浙州刺史。苏孝慈是太子的心腹，统领着东宫禁卫，将他调开，等于砍掉了太子的一只膀臂，更何况在此之前，皇上已经把东宫卫队中的许多健壮勇武的校尉兵卒抽调出来，充实到了皇宫宿卫中。这样再把苏孝慈拿掉，太子身边的警卫力量就削弱了大半。
隔了不长时间，皇上又做了一件事先没有声张的事。他抽调了几十名宫中宿卫，令其身着常人服装，分散在从皇宫到东宫道边路口上，昼夜值更，天天禀报。杨素想，陛下这是在提防太子有变了。
虽然这些事都在波澜不惊中进行，文武百官却看得明白。常言说：墙倒众人推。而世间的事实是，墙上刚有了几条裂缝，众人便来推了。各色各样贬责诋毁太子的传言纷至沓来，皇上当然听到了不少。只是还没有人敢在皇上面前直言废黜太子。杨素知道，敢说这句话的人，要么杀头，要么立功。
杨素要立功，而且要立惊天动地的大功。同宇文述见面后的第二天，皇上在后宫赐宴，杨素遵旨赴宴。席间，他寻机拜见了独孤皇后。他要亲自弄清楚她对罢黜太子的态度。尽管杨素已听宇文述叙说了晋王与皇后辞别的那一幕，可是他觉得那只是暗探，没有明示。他要有皇后一个明确的表态，才好决定如何行事。他感觉皇后会支持自己。
果然，一谈起晋王的大忠大孝、大仁大义，独孤皇后喜形于色，赞不绝口。当说到太子的恣意妄为，有恃无恐，皇后便悲愤至极，掩面而泣。最令杨素惊喜的是，孤独皇后竟然也要求他劝说皇上，早作罢黜太子的打算，为此皇后还送给他一包金银珠玉。
杨素心想：皇后与晋王殊途同归，岂不是天意降洪福于我吗？下一步，就看我杨素怎样去对皇上直言了。事有凑巧，这天上朝，杨素比平时早到了一步，看见太史令袁充已在殿外，他来去徘徊，一副愁眉不展的模样。
杨素上前问道：“太史令，遇到什么难事了？”
“唉！”袁充叹了口气，说：“尚书大人来得正好，我正有难题向大人请教呢。”
杨素说：“请教不敢当，帮太史令出出主意倒还可以。”
“是这么回事。近日我观察天文，几次都显现皇太子当废之玄象。我反复思量，若是陛下问起来，下官该不该如实禀奏？”
“嗨！太史令怎么聪明一世却糊涂一时呢！你我身为臣属，忠君报国是根本。如此要害之事，怎么还要等得陛下发问呢？应该主动奏报才对。”
“可是，就怕陛下……”
“太史令不必担心，我与你一同禀奏陛下。当然，此事还不宜于大庭广众下张扬。等退朝之后，百官散去，咱两人再向陛下禀奏。”
看到杨素这样坦荡无畏，袁充也就点头应允了。退朝之后，文帝回到后殿。还没坐稳，就听内侍禀报：“尚书右仆射杨素、太史令袁充求见陛下！”文帝有些纳闷：有什么话刚才不说，又跟到后边来了？就吩咐：“请他们进来。”看到两个人进来，文帝先开了口：“二位爱卿有何事禀奏？”
杨素答道：“陛下，太史令有要事禀奏！”“噢！什么要事，说出来让朕听听！”袁充跪伏在地上回答：“陛下，臣夜观天文，有皇太子当废之象。”文帝的脸色立时沉下来，他只闷闷地“嗯”了一声，良久，又说：“朕知道了，你先退下吧。”袁充应了声：“是。”便退了出去。
显然，文帝要单独跟杨素交谈。杨素暗喜：机会来了！
文帝赐杨素坐下，又屏退了左右，稍稍沉稳了一下气息，说道：“杨爱卿，朕也请人看过，刚才袁充所说的天象早就显现多次。群臣之中善观天文的不少，只是没有人敢说话罢了。”
杨素说：“陛下明察秋毫，一语中的。单就太子无德一事，不敢直言的人当中就有杨素。其实，微臣觉察太子种种不轨迹象已经很久了，可是，唉……想我杨素追随陛下多年，在朝中也算是一个老臣，对陛下实在不该有什么吞吞吐吐的，真是有愧圣恩啊！”
杨素说着，用衣袖擦拭一下眼角。文帝随着也叹了一声，说：“爱卿不必自责，在这件事上朕是有过失的。很久以来，朕已感到杨勇不堪承嗣，皇后也一直劝朕早作了断。可是，想到杨勇是朕为平民时所生养，又是长子，总有不忍。只希望他会日渐成熟，改正过错，才克制忍耐到了今天。看来，朕果然有失于当断不断哪！”
杨素接着说：“陛下的话让微臣也想起了一件事。陛下还曾记得诛灭刘居士朋党那件公案吗？”
文帝连连点头，说：“朕当然记得，那已是四五年前的事了。”
文帝早在周室为臣时，有一位知己旧交，叫刘昶。文帝登基之后拜刘昶为上柱国，为此刘昶感激不尽，兢兢业业。刘昶的儿子刘居士却是一个狂荡不羁、目无法度的流氓恶棍，曾几次犯罪，而文帝都看在与刘昶的交情上宽贷了他。谁知这刘居士有恃无恐，更加骄恣横行。他常常盯上一些体魄强健的公卿子弟，将他们绑架到自己家里，捆住手脚，再把车轮套在脖子上，用棍棒皮鞭拷打。那些被打得遍体鳞伤至死不肯求饶的，刘居士便称其为壮士，亲自松绑，酒肉款待并盟誓结拜为朋党。如是不久，刘居士就有同党三百多人。他们三五成群，经常游荡在官路乡道上，袭击过往行人车辆，劫掠财物。不论是平民百姓，还是公卿妃主，只要遭遇到刘居士的党羽爪牙无一幸免，哪个敢稍有不从，即拳脚棍棒相加，招来一顿毒打。一时间人心惶惶，民怨鼎沸。几位身受其害的公卿臣子联名上书文帝，告刘居士结党称霸，谋为不轨。文帝大怒，下令将刘居士逮捕斩首，其余党羽也都杀的杀，抓的抓，是公卿子弟者一律除名。
刘居士一伙朋党很快就被诛灭了。文帝担心除恶未尽，留有后患，就下诏命皇太子杨勇继续清查刘居士余党，并且让杨素将诏书送给杨勇。
杨素来到东宫，将诏书交给杨勇，他草草地看了一遍就放在了桌上，冷冷地说：
“刘居士的党羽早已伏法，叫我去哪里找？去哪里查？”
杨素说：“陛下恐有漏网者，日后死灰复燃。”“算了吧！”杨勇忿忿地叫道，“清明世界，朗朗乾坤，竟然出了这样的事。你身为尚书右仆射，岂能没有责任？还是你自己去清查吧，关我什么事！”
杨素见他这副神气，心中怨恨也不敢发作，还是耐心地劝道：“这可是陛下的旨意。”
“哼！你别动不动就拿陛下来要挟我。当年逼迫静帝禅让那事，万一失败，我先得诛杀。今天父亲成了天子，我居然还不如几个兄弟。凡事不论大小，都不准由我自主。我还算得上一个皇太子吗？”说着杨勇深深地叹了口气，“唉！到什么时候，我才能自由自在，不受牵制拘束啊！”当时，杨素只以为杨勇性情暴戾，借机发泄牢骚，回来后也确实没敢告知文帝。而今天看来，这件事实在是杨勇谋逆已久的一条罪状。