无风先起浪。废帝的事还没有确定就有了有人对皇帝动手的谣传，让霍光大吃一惊。莫非他和张安世、田延年三个人的谈话泄了密？他了解田延年一向谨慎，别说是这么大的事情了，就是平常的琐碎事都守口如瓶。他怀疑是张安世。那人是军人出身，办事粗鲁说话直率，可能是一时不慎把这件事情泄露了出去。废帝是掉脑袋的事，他不能掉以轻心，必须马上去找张安世，查问谣传的来龙去脉，正好张安世来了，告诉他这话是夏侯胜说的。霍光急问：“夏侯胜是怎么说的？”张安世说：“夏侯胜在阻止皇上狂悖行为时说朝廷里有人开始了对陛下不利的行动。”霍光问：“这话是什么意思？”张安世按照自己的理解说：“肯定是指咱们谈论废帝的事。”霍光又问：“他怎么知道了我们的谈话？”张安世摇摇头说：“我也感到奇怪。”霍光说：“你陪我到诏狱去，一定得封住他的嘴，不能让他再胡言乱语坏了咱们的大事。”
在长安诏狱的密室里，霍光和张安世单独约见了夏侯胜。
霍光问夏侯胜：“皇上为什么要治你的罪？”夏侯胜满不在乎地嘿嘿笑着说：“我又触犯了龙颜。”霍光问：“说说你怎么触犯了龙颜？”夏侯胜说：“我警告皇上，天久阴不雨，显示出大臣中一定有人开始了对皇帝不利的阴谋。”霍光和张安世对视了一眼，接着问：“你怎么知道有人对皇上有了不利的阴谋。”夏侯胜说：“我说的话都有根据。”“有根据？”霍光和张安世不由得一惊，不约而同地问：“什么根据？”夏侯胜说：“我的根据在《范洪传》上。”张安世不解地：“什么《范洪传》？”夏侯胜说：“这你们就不懂了。《范洪传》是一本圣贤书。上面说君王在上位荒唐不羁，就会使上天连续阴云不开，这显示在下位的人要动手谋杀他。当时我不敢明言，只说了有对陛下不利的阴谋。”
霍光和张安世松了口气。霍光站起身对外面喊着：“把夏侯胜带走。”夏侯胜不解地问：“大将军也认为我有罪？看着我死吗？”张安世替夏侯胜说情：“夏侯大人敢冒死上谏，可谓忠臣，不应该再……”霍光用脚碰了碰张安世的腿，张安世没再说下去。霍光对夏侯胜说：“不管先生有罪没罪都死不了，不过还得再委屈您老几天！”聪明的夏侯胜听出了霍光的弦外之音，明白了霍光说的“再等几天”的暗喻。看来宫里真的要有惊天动地的大事情发生了，他微笑着随狱卒走了出去。
张安世提醒霍光：“废帝这件大事不能再拖延了，日子一长，难免会真的泄密。”霍光说：“我在等田大人去禀告宰相的结果。”
“什么，你们要废掉皇帝？”宰相杨敞吓得像一根木桩钉在那里。
田延年告诉杨敞：“大将军还要宰相率领满朝文武大臣联名上奏皇太后！”
“别，别！”杨敞脸上的汗水滚滚而下，衣袍全被汗水湿透，他用手拧着衣袖，衣袖上的汗水“答答”地滴下。
田延年看着杨敞那副害怕的狼狈样子，觉得好笑，吓唬杨敞说：“大将军的命令你也敢违抗吗？”
杨敞进退两难，既不敢说“不”，也不敢说“是”，不停地抖搂着衣服上的汗水。田延年威逼杨敞：“宰相如果真的不愿意参与，我就给大将军复命了。”说着欲走。
“慢，慢！”杨敞拦住田延年。
田延年问杨敞：“如此说来，宰相要和我们一道废掉皇帝了。”
杨敞又退缩了，为了争取思考的时间，他推口说：“田大人等等，我去去厕所，一会儿就来。”他抖颤着两腿向里间走去。院公苍伯跟进来说：“这是国家大事，大将军已经作出决定，又派田大人通知你，如果你不跟大将军同心协力，不予合作，首先灭族的将是我们全家。”杨敞说：“让我好好想一想。”苍伯催促说：“还想什么，快出去对田大人表个态。”杨敞只得说：“是，是！”
夏侯胜警告皇帝的话虽然不是有所指，但也需格外小心。霍光取消了亲自进宫去见太后的计划，委派儿子霍禹进宫密告太后。霍禹刚走，任宣进来报告：“范将军的大部队今晚就要回到京城了，是不是派人出城欢迎。”霍光问：“皇上知道这件事吗？”任宣说：“是范将军派密使先来府上报告的。”霍光想万一废帝闹出乱子，那就必须动用军队。他当机立断说：“严密封锁范明友回来的消息。你让明友在城外二十里扎营，听候调遣。”任宣欲走。霍光又说：“让明友今夜秘密来见我。”
霍光焦急地等到月上树梢，院内才响起脚步声，他迫不急待地走向门口迎接范明友。
范明友一见岳父就要报告：“这次出征……”霍光摆摆手说：“军使已经报告过了，知道你打了胜仗。现在先不讲这个，有件绝密的事情需要你去办。”范明友急问：“朝里又出了什么事？”
“你跟我来。”范明友跟着霍光进了客厅里面的一间密室。
天快明时，霍禹回来告诉父亲：“太后口谕，一切按照大将军的安排，明天她亲自到承明殿主持这次废帝朝会。”
这天夜里，范明友紧急调动部队暗中包围了未央宫。
部队的秘密调动虽然绝密，还是被侍御史严延年发现了。
严延年原以为是皇上在调动部队替代皇宫里的侍卫队。他的这个怀疑不是没有根据的。他也听说皇宫里的重要岗位都换成了昌邑国的人，早就气愤不过，想进宫规劝刘贺。一想，左将军张安世、大司农田延年都被拒之宫外，自己一个小小的侍御史人微言轻，皇帝怎么会把他放在眼里。现在皇帝得寸进尺，竟然对侍卫队兵士也不放心，要调动部队来撤换，实在让他忍不可忍。他得马上去见大将军，让大将军出面阻止刘贺的狂妄行动。无意中，他又发现了一个秘密，树丛中露出一杆军旗，军旗上写的是一个大大的“范”字。“范”者，无疑是范明友了。范明友的部队包围皇宫，肯定是霍光的命令。难道霍光要谋反夺位了？他不相信一个忠臣会做出这种大逆不道的事情。可是，回想霍光被驱逐出宫，他的几个女婿被撤掉两宫禁卫司令一连串发生的事情，霍光的谋逆行动也在情理之中。如果霍光真的要发动兵变，那可是毁了他一世的忠庸之名。他更应该去见霍光，说服他放弃这次行动。
霍光和严延年都是同朝老臣，以为他也是来动员他废帝的。他在客厅里客气地接见了严延年。不料，严延年却是来发难的。
严延年直言不讳地问：“大将军是不是要发动兵变，废黜皇上？”霍光故作惊异地问：“严大人此话从何说起？”严延年说：“自然是从范明友包围皇宫说起了。”霍光一怔，这样秘密的行动他怎么这么快就知道了？从哪里走漏了风声？他相信范明友一向谨慎，二十年来在对匈奴的军事行动中，他的周密计划，他的突袭战术从来都是万无一失，今晚的行动也决不会出现纰漏。可是严延年说的是事实，不像是讹诈，不说实话反而会使严延年更加怀疑。他试探着问：“严大人以为当今皇上该不该废？”严延年说：“当今皇上的确昏聩无道。可是，大将军擅自废立皇帝，失去人臣礼仪，却是大逆不道。
”霍光说：“难道就这样让皇上像秦二世一样使大汉王朝和秦朝一样走向灭亡，你我不闻不问坐视不管，九泉之下如何去面见先帝？”严延年说：“我是担心大将军忠庸一世，最后落个臣废君的骂名。”霍光说：“商朝五任帝太甲荒淫无道，宰相伊尹罢黜昏君更立贤明之君，稳定了政局，保住了商王朝后五百年社稷。伊尹不但没有落骂名，后人反而歌颂伊尹是忠臣。”严延年讽喻霍光说：“如此说来，大将军要做当今的伊尹了。”霍光说：“社稷重君王轻。只要能保住汉不蹈秦亡之祸，后人对霍光自有评论。”严延年：“古往今来，谁废帝谁就是奸臣。大将军真的要当奸臣吗？”霍光说：“严大人如果这样认为，可以和我一道去参加议政会议，继续发表自己的意见。”严延年说：“去，我一定去。”
等到刘贺睡下以后，霍光在远离刘贺寝宫的宣室殿召开了有宰相、将军、御史、光禄勋等文臣武将参加的秘密会议。他开门见山地问大家：“皇帝已经昏聩淫乱到无法挽救的地步，大家说应该怎么办？”这话问得太突然了，朝臣们不知道霍光的用意，谁也不敢说话。大殿里鸦雀无声，沉静肃穆。
“废掉昏君！”田延年从座位上一跃而起，手按佩剑站在大殿当中，大声说，“大将军应该当机立断废掉刘贺，另立新君。”
有人反对说：“皇帝是一国之主，不能说立就立，说废就废。”
有人反驳说：“君不正，臣不忠，废立也就在情理之中。”
“废君国之大忌，必然引起天下骚乱。”
“不废昏君，朝纲更乱，危及国家安全。”
朝臣中形成了两派。主张废君的骂反对废君的是为虎作伥，与刘贺狼狈为奸；反对废君的骂力主废君的是乱臣贼子，要共诛之。大殿里气氛紧张。出现剑拔弩张之势。
田延年激励霍光：“先帝把国家托付给大将军，一切全由大将军做主。”
“田大人讲得对，一切由大将军做主。”张安世戎装佩剑，杀气腾腾地出现在殿门口。他身后站着范明友、任胜和邓广汉诸将。田延年见军队出来支持，勇气更足，对霍光大喊着：“如果让刘贺这样胡作非为下去，汉王朝定然重蹈秦王朝的覆辙。大将军即令一死，有何面目见先帝于地下。”张安世“唰”的一声抽出宝剑，一剑砍下，一把椅子被劈得粉碎。他大吼着：“今晚必须得有个结果。如果有人最后响应，当场格杀勿论。”
朝臣们一见要动刀动枪了，一个个吓得面色灰青，大汗淋漓。大部分人认为刘贺不能再当皇帝了，但是遇到臣要废君有关忠奸之分，后世留名的大问题，谁都不敢轻率表态，只有拭目以待。
霍光没有想到张安世会带着他的三个女婿闯进会场，这不是明明在搞宫廷政变吗？他怎么能负得起这个历史责任，让史学家在史书上给他刻写上不光彩的一页。他决不允许用刀枪逼着臣僚们服从他的意见。他命令范明友带兵驻扎在城外是防止刘贺调动禁卫部队反击，实属自卫。现在侍卫兵已经控制了皇宫里的局面，没有理由让范明友这些武将再干预朝政，当即命令范明友、任胜和邓广汉退出大殿。而后语重心长地向大家解释：“不是我们要废掉皇帝，是皇帝再也担负不起管理国家，祭祀祖庙的大任。我看废就废了吧，再辅佐这样的人，我们都会成为千古罪人的。”
“大将军讲得对，不能再保这个昏君了。”
“对，保昏君就是为虎作伥，千秋万代落骂名。”
霍光一呼百应。大家不约而同地都表了态：“保社稷废昏君。”
霍光又征求严延年的意见。严延年看到废君已是大势所趋，只得说：“废就废吧，我听大将军的。”
霍禹拿出弹劾刘贺的奏章，大家纷纷签了名。霍禹最后把奏章交给了杨敞，杨敞不敢接，吓得后退着。张安世说：“宣读奏章宰相义不容辞。”
霍光说：“现在就去请示太后。”
在张安世的率领下，大家都跟着去了长乐宫。
霍光走在最后，被杨敞喊住，颤抖着手里的奏章乞求霍光：“大将军，我看这奏章还是让田大人宣读吧！”霍光不高兴地说：“宰相是不是想溜？”杨敞忙辩解：“不敢，不敢！”说着擦着头上的慌汗。田延年凑过来讽喻杨敞：“还没到五黄六月，宰相怎么就热得满头大汗。”杨敞支支吾吾地说：“不热，不热！”