霍光看出刘询是一个精明干练的皇帝。既然皇帝已经成熟了，他就得功成身退放权还政。他知道功高就会震主，震主就会招来祸端。欲加之罪，何患无辞。历史有多少功臣就是因为功高震主被主子猜疑而招来灭门之灾。
这天一下朝，他就回了府，想冷静地考虑考虑急流勇退的事。
当他在府门外下马时，有关霍显风流的那些传言又浮现在脑海里，他的心霎时变得一片冰凉，像浸在黑不见底的冰窖里。虽说王子方被他打发走了，可冯子都还在。如果他现在突然回来，发现妻子和冯子都正在他的床上那该怎么办？杀了霍显？霍家的丑闻很快就会传遍朝廷上下甚至全国。尽管他是大将军，像一棵挺立的苍松，却挡不住背后那些轻蔑藐视的眼睛；如果饶恕了他们，一个顶天立地的首辅大臣戴着一顶绿帽子，怎么能挺直腰杆立于朝堂之上。他宁愿这是一场噩梦，醒来时什么事情都没有发生，什么传言都是子虚乌有。那才是不幸中的万幸。
霍家大院里冷冷清清，大部分人员都被封官上任去了，留下的大空缺还没有补充上来，一时没有人来接霍光。霍光一个人向霍显住的小院里走去。小院里也是安安静静，只有侍女红一个人坐在西墙下做针线活。霍光心生猜疑，这姑娘是不是在给霍显放哨？
侍女红看见霍光回来，连忙站起来想打招呼，霍光以手势制止了她。聪明的侍女红明白霍光打手势的意思，又坐了下去。霍光走进屋内，霍显正在背着身子试穿一件肚兜，听到脚步声，她以为是侍女红进来了，头也没回地问：“有事吗？”霍光没说话，把全屋扫视了一遍，没有发现疑点。霍显回过头发现是霍光，怪罪说：“你回来怎么也不通知一声？”
霍光随机应变说：“我想给你一个惊喜。”
霍显反唇相讥：“你是想给我一个措手不及。好吧，你好好搜查搜查，看我藏野汉子没有。”
霍光说：“你疑心了。”
霍显呜呜地哭起来。哭得十分伤心，两肩激烈地颤抖着。
霍光问：“你这是怎么了，我又没有怪罪你。”
霍显抬起头满眼委屈地喊着：“是哪个爱嚼舌头的诬告我。我冤枉啊！”
霍光安慰妻子：“别哭了。常言捉奸拿双。我又没有拿到证据，怎么会怀疑你的不贞呢？”
“你真的不怀疑我了？”
“真的。”
“假的。”
“什么意思？”
“你为什么不明不白地把王子方开走了？”
霍光怎么能向妻子说明开走王子方的真正原因呢？他随口编了个理由，说：“他贪污了秦皇陵的出游款。对主子不忠的人，还能用吗？”
霍显知道霍光说的不是真话。如果丈夫真的说了真话，她还真的下不了台。
霍光在朝廷上是个呼风唤雨、叱咤风云的大人物，可是在霍显面前却像个驯顺的羔羊。他爱霍显，只是朝事繁忙疏忽了家庭，没有尽到一个丈夫的责任，为此常常感到内疚。幸好，他猜疑的事情终于没有发生。也许是他开走王子方使霍显收敛了。想到这里，霍光的心暂时平静下来。
霍显一屁股坐在霍光的怀里，看着霍光的脸，捋着霍光的胡子，心疼地说：“你瘦了，也老了。”
霍光说：“是老了，该急流勇退了。”
霍显说：“现在你还不能退，等把霍家的根基扎牢了再退不迟。”
霍光说：“他们做官的做官，当将军的当将军。该封的都封了，该加禄的也加禄了，一个个都是朝廷重臣，大厦盖好了还要扎什么根基？”
霍显说：“大厦再结实，没有了根基一遇狂风暴雨照样会房塌屋倒、楼倾瓦碎。”
霍光说：“当今皇上不似刘贺，他很有思想，也有执政能力，早还政比晚还政好，早退下来比晚退下来有益。”
霍显叹了口气说：“我们霍家位高爵重，多遭人忌。如果你退下来了，霍家一旦失宠，会一败涂地。远的不说，就说老祖宗吕太后吧，当年她把吕家一个个封了官掌握了朝政大权，兵权也掌握在她的两个侄儿手里，一手铸造了固若金汤般的吕家江山。她刚撒手而去，吕家就遭到了灭门之灾。你如果退下来，一旦有人找咱们家的事，我们也会像吕家一样在劫难逃。想起这些，真是不寒而栗。”
霍光没有霍显想得那么深远，也没有那么悲观、那么残酷。他只想到了急流勇退也就化险为夷了。经霍显这么一提醒，他才意识到他死后可能发生的事情。他的子子孙孙都出生和生长在煊赫的家庭里，养成了至高无上、目中无人的禀性。别看他的儿子霍禹表面上沉稳拘谨，可骨子里早就充满了权欲，在等待着老子宾天以后去接大司马、大将军的大印；两个侄孙霍山和霍云一向以功臣家自居，飞扬跋扈、骄奢淫逸，标准的纨绔子弟，成事不足败事有余。就连自家的家人在外面也横鼻竖眼，动辄打人。霍显说得对，如果没有了他，霍家很可能会重蹈吕家覆辙，招来灭门之祸。他痛悔自己以前没有想到这一点。要不，归政的事再缓缓。他犹豫了。
霍显早有了主意。她说：“只有和皇上攀亲，襟连着襟，亲牵着亲，手心手背一块肉，哪怕是以后出了什么事情，皇帝也不至于杀自己的亲人吧！”
霍光不懂霍显的意思。
霍显接着说：“皇后的位置不是还空着吗？把成君送进宫当了皇后，不就连上皇亲了！”
霍光怪罪霍显说：“你说的是浑话。成君不是早就和金建订了娃娃亲吗？”
霍显不屑一顾地笑了起来：“娃娃亲算什么亲，孩子们大了，你管得住吗？金建不是早就和我身边的侍女红好上了，我们何不借此机会给他们凑成这桩好事。”
霍光深知女儿任性，金建受了不少委屈，所以对金建和侍女红好的事也就信以为真。但对女儿进宫当皇后的事不敢马上表态。他犹犹豫豫地说：“这等大事得有德高望重的大臣支持。你容我想一想。”
霍显说：“只要大将军不反对，以后的事我去办。”