皇帝对霍光越是信任，霍光越是愧疚。妻子谋害许皇后一案，他既不敢向刘询报告又憋闷在心，忧郁和害怕竟让他一病不起。
刘询是个聪明人，他早已知道许皇后的死因，就是按兵不动。他深知动霍显就是动霍光，牵一发而动一身。他听说霍光病了，带领三公九卿亲自来看望，祝福他早日康复，继续辅佐朝政。
霍光从枕头下摸出钥匙放在刘询的手掌里诚恳地说：“陛下圣明天纵，谦恭贤明，不仅有尧舜之风而且有乾纲独断之能，臣现在再次请求还权归政。这是宣室殿的钥匙，所有奏章和印玺都在殿里，望陛下恩准臣在家休息养病。”刘询握着霍光的手流着泪说：“大将军忠庸勤政，百官宾服，朕还要大将军辅政。”说着，把钥匙放回到霍光手掌里。
霍光看了一眼张安世，对刘询说：“左将军可以协助陛下安邦治国，料理朝政。”
站在一边的霍禹心里“咯噔”一下。他本想父亲之后，大司马、大将军的职位非他莫属，没想到父亲要把军政大权交给张安世，不满地瞥了父亲一眼，又看看刘询，刘询没有表态，看来还有希望，心里也就稍稍安稳。
刘询安慰霍光说：“大将军静心养病，待康复之日，朕亲自来接大将军回朝料理朝政。”
皇上的话说得情深意切，坦诚相见，霍光再也无话可说。他也深信自己不过是偶染小疾，不日就会康复，康复后再慢慢还政。没想到这是最后一次和皇上的见面，他再也没有回到未央宫。
刘询等人走了以后，卧房里只留下霍显在照顾他。霍显坐在他身边，不时地问：“喝水吗，我给你倒点茶”，“吃饭吗？我给你做你想吃的”，“我去把太医请来给你再看看病”。霍光不以为然地说：“小病一场，休息一两天就好了。”
霍显的温柔体贴化解了霍光对她的怨恨。他好不容易镇静下来，突然听到从客厅里传来有人进来的脚步声，开始他以为是侍女红来送茶的。可是脚步声停住了，没有人进来。霍显慌忙跑了出去。客厅里好像站着一个人，又看见霍显往他这里指了指。
“是冯子都！”霍光心里一怔。任宣对他的告密，侍女红的吞吞吐吐，冯子都的躲躲闪闪……他的身子不由得颤抖起来，气得紧紧攥住了被角。他以为开走了王子方，冯子都和霍显就该收敛了，现在看来，他们还在私下往来。静静地听着，听到了霍显返回的脚步声，他连忙闭上了眼睛，装作睡着的样子。
“大将军！”霍显喊了一声。
朗朗的鼾声。
霍显走近他，替他盖上了被子。他一动不动。她确信他已经睡着，就轻手轻脚地返回客厅。霍光侧耳倾听，只听霍显对冯子都说：“他睡着了。”接着，是他俩一起走出去的声音，而且还关上了门。
霍光连靴也顾不得穿就跑进了客厅，贴着门缝看见霍显和冯子都两人相拥着进了厢房，又紧接着关上了门。霍光轻轻拉开门要跟过去，突然又停住了。他一个统率全国千军万马，在朝廷上一呼百应的首辅大臣、大将军却像一个窃贼偷偷摸摸去跟踪自己的夫人捉奸，实在是太失身份、太丢面子了。此时他完全可以大喊一声，府里的长史（相当于秘书）、家将、侍从、院丁就会闻风而来听从他的命令，把这对狗男女从厢房里抓出来。其后果必然是闹得满城风雨，霍家的威望，一个大将军的声誉会像一杆威严的军旗突然倒下来被疾驰的马蹄践踏成一块满是污泥的遮羞布一样被人讥讽耻笑。罢了，罢了！他只能痛悔自己家教不严，哀叹家门不幸。可是厢房里传出来“咯咯”的放浪笑声，让霍光再次燃起冲天大火。他再也忍无可忍。一脚踢开了厢房的门，看见霍显和冯子都抱住在床上翻滚，他的头像棒击一样眩晕，他仇恨的热血达到了沸点。他大喊着：“我要骟了你们两个奸夫淫妇！”可是当他举起拳头向他们扑去时，只觉得天旋地转，“啊”的一声倒在了地上，口里喷出一团浓血。他挣扎着想站起来，又是一阵头晕，喊声、骂声渐渐微弱下去。
当霍显和冯子都整装以后跑过来查看时，霍光已经魂归西天。不知是吓呆了还是有意拖延时间，两人都没有喊人。还是侍女红闻声跑来，发现霍光躺在地上，大喊着：“快来人呀，大将军他……”
霍家大院里顿时乱成一团。
霍光死于公元前68年（汉宣帝地节二年）。