霍光回到府上一夜没有睡好觉，翻来覆去地想着张安世动员他废刘贺的事。
昨天，张安世把刘贺为所欲为的行为全部告诉了霍光。霍光差点把肺气炸，手里握着的马鞭“啪”的一声折为两段。他当即表态同意张安世的意见废了刘贺。回来以后，细细一想又觉得这个表态太轻率了。“废帝”毕竟是一件大事，不仅落下废君的罪名，还怕由此引起朝廷上的混乱。可是，不废刘贺，任其胡闹下去，大汉王朝定然毁在这个人的手里。他思前想后拿不定主意。
霍显和霍光同床异梦。她感觉和霍光在一起简直是在受罪。她几次想和他做爱，霍光都以身体困乏而拒绝。他们虽是夫妻，却形同陌路人，这使她又想起了和王子方、冯子都在一起的那种神魂癫狂、云雨融和的舒适和愉快。她盼望天快点放亮，霍光早点离开她上朝去（到现在她还不知道霍光已经不上朝了）好和两个情人在一起。猛然想起王子方怎么没见回来，她做贼心虚不敢问霍光，只盼望着天亮出去问个明白。终于盼到了一声鸡啼，窗户开始由黑变白出现了亮光。
霍光没有贪睡习惯，天一亮就起了床，梳洗已毕，从衣架上摘下头盔，突然想起不能上朝了，又把头盔放回原处，倒了一杯茶坐在客厅里慢慢地喝起来。
“大将军，田大人已在外面等候了两个时辰，要见您老。”
霍光嗔怪任宣：“为什么不早点报告。”任宣说：“田大人说大将军回来乏困，他多待一会儿不要紧。”霍光连忙走出去，把田延年引进另一个房间。
田延年哭着说：“大将军，亡秦之祸近矣！”接着把刘贺沉湎深宫、不理朝政、拒绝纳谏等告诉了霍光。霍光怪罪田延年：“皇上如此荒唐暴淫，为什么不报告太后？”田延年说：“长乐宫也被昌邑国的人封锁了，任何人进不去。”
这时，任宣又进来报告：“张将军登门拜望。”
霍光知道张安世还是为废帝的事而来的，连忙说：“快请！”
张安世一进来就问：“大将军，什么时间动手？”
霍光犹豫着没有说话。
张安世说：“将军是国家的梁柱磐石，是当今朝里的首辅大臣。国家出了昏君，朝里滋生乱臣，大将军应该力挽狂澜，像当年太尉周勃清宫一样，铲除吕氏乱党，打扫刘家庙宇。”
田延年这才知道他们早就议论过废帝的事情，也劝告霍光：“国家比君王重要。当今皇上不能承受天命，不能侍奉祖宗祭庙，大将军能立贺，也能废贺。”霍光问：“历史上有臣废君的事情吗？”他不愿当始作俑者，在历史上留下不好的名声。
田延年说：“商王朝时，五任帝太甲荒淫无道，宰相伊尹罢黜昏君而成为圣人。大将军如能废掉昏王更立贤明之君，拯救汉王朝，也是当今的伊尹。”
霍光沉吟良久才说：“这是国家大事，田大人和张将军去找杨宰相商量，我去请示太后。”
田延年和张安世素知霍光谨慎，同意霍光的意见，大家分头行事。