杨坚的态度也变了，虽然对杨勇还抱有一些希望，但也是左右摇摆，他找来了一个算命的，来给所有的儿子算命，算命先生看完之后，就说：“晋王的眉毛双骨隆起，富贵无法形容。这话说的让人无法理解，查一查算命书就知道了，双眉隆起并不代表富贵，只是代表心高气傲，没准这货也是受了杨广的贿赂，或者是揣摩到了杨坚的心意。
杨坚听完之后很满意，又问旁边站着的大臣韦鼎：“你觉得我这些儿子，将来谁可以继承我的位置。”
韦鼎不敢说，也不敢不说，当下迎合杨坚的心意说：“皇上皇后所喜爱的就应该让他继承，我不敢做任何的预言。”杨坚笑着说：“其实你已经说了，只不过没有明说而已。”样子显得非常高兴，韦鼎的马屁拍的很成功。
从这一点来看，杨坚似乎也已经下定了决心，但只是缺少一个机会而已，不过，在这期间如果杨勇表现好一点，也未必没有翻身的机会。
总之杨勇一天不下台，杨广就未必一定赢，万一杨坚突然死了跟宇文赟一样，杨广以前所做的事情也就白费了。
自从灭掉南陈帝国之后，杨广一直都在扬州军区担任总司令，安抚新占领的区域，当时因为他要演戏，所以政治上也有一定的建树，博得了很多的美名。等他抽空回到京城拜见老爹老娘，临走的时候，就趴在独孤皇后的身上哭了起来说：“我这个人是个实在人，平时也没什么心眼，有事儿就知道依靠兄弟手足，可是我不知道什么地方得罪了大哥，他很不高兴，打算把我害死，我非常的害怕，没准哪天就会被人毒死，最近经常失眠。”
对于这种捕风捉影甚至于子虚乌有的事情，如果杨勇没有失宠，杨坚马上就会戳穿他的谎言，并且严厉斥责他，可是现在杨坚和独孤太后风向转舵，一心把杨勇当成坏人，所以根本也不调查，就认定案情属实。
独孤皇后愤怒地说：“太子越来越让人讨厌，我给他娶了元家的女人，他竟然把人给害死了，只宠爱云昭训，生下了很多的猪狗。现在又对你这个样子，我还在世，他就无所顾忌了，我死了之后，你岂不是被当作鱼肉凌辱，每次想到东宫连嫡子都没有，你老爹千秋之后，留下你们兄弟向阿云（云昭训）的儿子们叩头问安，心里就无限痛苦。”
杨广也没什么好说的，一边叩头一边哭，好像自己已经悲惨得不如非洲难民了。独孤皇后也十分悲哀，好像杨勇真的做了什么人神共愤的事情一样，其实杨勇根本没有大的过失，所有的一切都只是吹毛求疵，外加煽风点火造成的。
独孤皇后决定采取行动。