柳彧就像不认识他一样，一条一条的开市审问，性命年龄，犯了什么罪，有没有前科，有无吸毒经历，等等这些。杨素气得牙根痒痒，可是没办法，只好一条一条地回答。等到完事儿之后，他可把柳彧给恨死了。整天没事儿就找他的犯罪证据，可是柳彧很正直一直都找不到，但是杨素不放弃，就不相信你无懈可击，只要你犯在老子手里，就让你死翘翘。
终于有一天机会来了，杨素探查到，数年之前，柳彧曾经跟蜀王刘秀有过一段时间的接触，而且关系还不错，刘秀曾经跟他接过一套书，可能挺珍贵，所以完事儿之后，就送给他十个奴仆，十个婢女，当作回礼。
这样一来就好了，杨秀下来了您也下来吧。杨素赶忙搜集资料弹劾柳彧身为大臣结交亲王没安好心，普通的时候当然没事儿，可现在杨秀是个反贼，那你当初是不是也想要跟着他一起犯错误啊，思想上是不是动摇啦。
所以柳彧被开除公职，贬为平民，流芳宁夏。
对于杨素这样的行为，不是没有人知道，也不是没有人敢说，最主要的是杨坚根本不信也不愿意相信。大约杨素在他面前表演的太好了。可是该来的总会来，就在杨勇倒台之后，很多看不惯杨素行为的人，纷纷按耐不住，开始旁敲侧击的向杨坚进言。
首先发难的是贝州长史裴肃，裴肃首先说明高熲是天下奇才，而且对国家有很大的功劳，他只不过是因为受了奸人的陷害才落到了今天这样的地步。还有就是希望杨坚释放两位亲王，让他们能有一个改过自新的机会。
杨坚拿到了这份奏章之后，心里就想：陷害高熲的奸臣是谁呢？不用说就是眼前这个胖子杨素，可是——
杨坚就试探杨素：“裴肃担心我处理不好家事，这是一片诚心！”杨素顿时觉得有点不对劲儿，他开始觉得皇上对他产生怀疑了。
裴肃的这份奏章非常的温和，基本上起不到什么作用，一切还都是维持原判，杨坚只是心里好像被触动了一下，被罢黜的这些人似乎都与杨素有关啊！
但是第二封奏折可就是一颗毫无假话的炸弹了。
不久之后，大理寺卿梁毗再次给皇帝上奏折，直接指出杨素是个大奸臣，说现在满朝文武全都怕他，一个人的荣华富贵或身败名裂，全看他口中一句评语，一个人是飞黄腾达还是万劫不复，弹指间他就可以决定。说他家的势力太大，有点像王莽，将来一定会造反，请皇上防着他点。
杨坚当时勃然大怒，把他抓进监狱，亲自审问。
梁毗说：“你说他是好人，太子被废的那天所有的人都愁眉苦脸只有他一个人笑得合不拢嘴，这样的人能是忠臣嘛，能是好人嘛？！”杨坚无言以对，只好把梁毗释放了。