上官安却是官运亨通，很快就升为车骑将军。上官安由此十分感激丁外人，想说通霍光，封丁外人为侯爵，霍光无论如何都不答应。上官安无奈，只好让父亲上官桀去说情。上官桀与霍光是顾命大臣，又是儿女亲家，更是莫逆之交，谁知霍光还是不答应。上官桀无奈，便降格以求，说是封个光禄大夫也好。霍光勃然怒道：“丁外人无功无德，怎好得封官爵，请你不必再说了！”上官桀碰了一鼻子灰，从此深深地怨恨霍光。盖长公主因为情夫得不到爵位，也十分怨恨霍光，他们内外照应，想除掉霍光，而霍光尚不知道，只是按自己的意思去做。不久，昭帝突然下诏，封上官安为桑乐侯，食邑五千户。霍光事先并不知道这件事，但觉得上官安是皇帝的岳父，也不算违例，也就未加过问。而上官安却十分傲慢，有一次，入宫侍宴，罢宴回家以后，向门客夸耀道：“我今天与女婿一起饮酒，很是高兴，只是我的女婿服饰很豪华，而我家的用具器物，还不得相配哩！”说着，就要把旧有的家俱一概烧光，多亏门客劝阻，才未烧成。
太医监充国无故入殿，按照律条，当处以死刑。充国是上官安的外祖父最为宠爱的人，上官桀便去找霍光求情，霍光仍不允许。上官桀无法，只好去求盖长公主，盖长公主交出了二十匹马替充国赎罪，充国才减罪免死。自此以后，上官桀父子就更加痛恨霍光，感激盖长公主。
上官桀父子认为，从前和霍光一样，都是顾命大臣，现在反而每件事都要受霍光管辖制约，实在太不公平。于是，他们就广结宫廷内外的宦官大臣，想趁机除掉霍光。尤其是燕王刘旦，因未得地位，总觉心怀不满，御史大夫桑弘羊的子弟多有失职，也对霍光怀有怨望，再加盖长公主作为内援，在上官桀看来，确是万无一失。
正在这个时候，霍光到广明去校阅羽林军，上官桀就想发难，但想来想去还是无法准备力量，不能保证事变成功。于是上官桀就和桑弘羊秘密商量，诈以刘旦的名义，上书弹劾霍光。奏疏写道：
我听说大臣霍光在外出校阅羽林军时竟令先行官预先准备食物，模拟天子的出游仪式。把没有功的大将军杨敞任命为搜栗都尉，又擅自调益幕府校尉，专权自恣。我怀疑他有不正常的举措，所以愿意把我的符玺归还朝廷，回到宫里保卫皇上，以免奸臣忽起事端，皇上遭遇不测。事关紧急特此派快马传给皇上。
昭帝看后，竟无动静，霍光听说有人弹劾，十分恐慌，第二天上朝，不敢进去，只在殿西画着周公房（此字为上面一个“户”字，下面一个“衣”字）图的那间房子里坐着。昭帝未见霍光，就派人宣他进殿，霍光跪地免冠谢罪。昭帝说：“我知道你没有罪，请戴上帽子起来吧。你到广明校阅羽林军往返才十多天，燕王刘旦怎能得知，又怎能写信送来。
况且你如果有不臣之心，又何必用校尉。这明明是有人谋害将军，假造此书。我虽然年少，也不至于如此愚昧。”群臣听了，无不惊服。
昭帝催促捉拿上书人，上书人就是桑弘羊，闻讯后逃到上官桀的家里躲避，当然无法捉到，偏偏昭帝又连日催办，上官桀使内臣在昭帝跟前说霍光的坏话，昭帝发怒说：“大将军是当今的忠臣，先帝嘱托他辅佐我，如有人再敢妄说是非，便即处斩。”昭帝从此只亲近霍光，不理上官桀。上官桀忧愤交加，计无可出，竟与儿子上官安商议了几次，想联络盖长公主及燕王刘旦，假意应许刘旦做皇帝，刺死霍光废了昭帝，自己身登皇位。
盖长公主同意了上官桀的计划，刘旦得书后也十分高兴，准备事成后与上官桀共享富贵。刘旦的相国劝谏说：“前次结谋，事泄未成。现在将军上官桀秉性轻浮，车骑将军上官安又少年骄恣，恐怕不能成事。
即便侥幸成功，上官桀也反复无常，不能相信。”刘旦不听，坚持起兵。
就在这时，燕国都城里妖里妖异之象纷至沓来。天忽大雨，有一长虹倒垂井中，井水竟被吸干。天上又有鸟鹊争斗，纷纷坠死池中。又有群鼠噪嚣殿门，跳舞而死。什么城门无故自开、城上无故起火、大风吹折城楼等等，不一而足。刘旦有一善于占卜的门客，他报告刘旦说：“今年恐怕有大臣被诛。”刘旦正在恐慌之间，忽有急报传来，说是上官桀谋泄，已被逮捕。是燕国派去的使臣，也被抓获了。
原来，盖长公主答应上官桀请霍光喝酒，在席间刺死他，上官桀父子以为计出万全，万无一失，都高兴得忘了形状。群党在议论这件事的时候问上官安说：“一旦废了昭帝，您的女儿上官皇后怎么办？”上官安发怒道：“迫逐鹿犬还顾得上兔子吗？”这消息从盖长公主处和上官安家里露出来，辗转传达，竟让霍光得知。于是，先把上官桀父子诱入宫中，立即斩杀，又拿住桑弘羊，亦即杀死，其余党徒也一并逮捕。至于燕王刘旦，两次谋反，决无再生之理，受诏自缢而死，从死的妃子有二十多人。盖长公主闻变自杀。
昭帝十八岁举行冠礼，朝政由霍光秉公主持，还算平静，但昭帝于二十一岁病死，且无后嗣，立君又成了大问题，广陵王是昭帝的哥哥，霍光不愿立他为君，大面上的理由是因为武帝没有看中他，且不是昭帝的下一辈，实际上恐怕考虑到广陵王年纪已大，立为皇帝后无法驾驭，决定立武帝的李夫人之孙昌邑王刘贺为皇帝。
刘贺是个纵情声色、荒淫无度的人，专好游猎，半日能骑马奔驰三百里。一日，刘贺看见面前有一只白犬，项下似人，股中无尾，而左右的人却偏偏并未看见。龚遂劝谏说：“这是暗示左右的人如犬戴冠，如不悔悟，恐要亡国了。”不久，刘贺又独见一大白熊入宫，龚遂又说：
“野兽入宫如入无人之境，是说宫室要空了，这是凶兆。”未几又见血染席中，龚遂哭道：“血为阴象，阴象上升，宫室要空了。”等长安使臣到来，刘贺半夜得书，才看到数行，就高兴得手舞足蹈，一帮狐朋狗友都来趋奉。第二天，刘贺启程，独自一人策马跑在前面，沿途搜掠妇女，劝阻无效。
刘贺即位以后，十分荒唐，毫无人君的样子，朝野上下深以为忧。
霍光受群臣委托又联络杨敞等人，在朝会上忽然发难，借上官皇后的名义，历数刘贺罪状，把刘贺削去王号，另给食邑两千户，仍使居昌邑。
只是刘贺的那帮帮闲小丑二百多人，全被绑赴市曹斩首，有人大喊：
“当断不断，自取其乱！”意思是悔不当初杀霍光。
立君又成了大问题，有人提出，唯有武帝曾孙刘病已，流落民间，据说其美丰仪，通经术，有才具，年已十八，可立为君。据说在这一年，泰山大石自立，上林苑中大柳树叶虫食成文，也辩认出“公孙病已立”
字样。这皆是皇帝起于民间之兆。霍光主持迎立了刘病已，是为宣帝。
当时，霍光坐在宣帝的身边替他赶马车去祭拜祖庙，宣帝后来回忆说当时的感觉是“如芒针背”，等换了张安世驾车后，他才安心。其实，这一方面反映了霍光的权威之大，另一方面也为霍家的败亡埋下了伏笔。
宣帝尚未立后，当时许多人都打算让霍光的小女儿做皇后，可宣帝却下令访求故剑，大家明白，这是宣帝不忘贫贱之交，只好立宣帝在民间时的结发夫人许氏为皇后。照例应该封许氏的父亲为侯，但霍光认为他已受过宫刑，是微贱之人，不能违例封侯。宣帝争执不过，只好作罢。
宣帝即位后两年，霍光见宣帝躬谨谦让，也还放心，就自请归政退休，皇帝偏不允许，并且还让凡事先奏请霍光，然后再通报自己。这时，霍光的儿子霍禹，以及霍光的哥哥的孙子霍云、霍山及外孙等，陆续获取了官职，在朝廷上渐成盘踞之势。宣帝虽是十分猜忌，但只好暂且隐忍。
霍光的继室霍显是个心狠手辣的女人。霍显原是霍光的女儿的婢女，因长相姣好，为人狡猾，博得了霍光的喜欢，后生了几个子女，霍光就把她升为继室。为了让自己的女儿当皇后，霍显处心积虑地想谋害许皇后。恰巧许皇后将要分娩，忽感身体不适，宣帝遍召女医官日夕服侍，霍显就趁机把自己的相识淳于衍推荐进宫。
许后安然生产，在服用调理药丸时，淳于衍趁机将符子掺入。符子性热，不宜产后服用，许后产后身体极虚，服用符子后虚热上升，竟致殒命。宣帝十分气愤，命令将所有医官逮捕，淳于衍也在其内。霍显极怕淳于衍吐露真情，连忙求霍光设法，霍光知道了也很害怕，但事已至此，只好去到宣帝那里游说，让他放了全部医官。此后，霍显花巨资多次安排淳于衍，才使她不露口风。
从此开始，民间竟传闻霍家毒死了许皇后。
不久，迎霍显之女入宫，一年后立为皇后。宣帝地节二年，霍光寿终正寝。
霍后尚未生子，宣帝欲立许后所生的刘爽为太子，霍显对女儿说：
“他是皇帝微贱时所生，怎能当太子，倘若你将来生了男孩，不是要为他所制吗？”霍显就交给他毒药，让他寻机毒死太子。无奈宣帝十分小心，派人周密保护，凡食物都要先尝后进，霍后始终不得下手，她经常恼恨地咒骂，逐渐露出了不悦太子的神情。宣帝敏锐地觉察到了这一点，又风闻是霍家毒死了许后，就加倍注意起来。
霍家一门三侯，霍显尚不满足。霍显做了太夫人之后，无视礼法，竟擅自扩大霍光的故制，囚禁家人看管，自己的生活更是纸醉金迷。尤其是与俊仆冯殷私通，闹得沸沸扬扬，无人不知。她的这些做法，引起了公愤，许多人上书弹劾。只是宣帝念着霍光的功劳，才隐忍未发。
宣帝怕霍家势力太大。将来生变，就逐步撤去霍禹等人的兵权。霍家已感觉到势头不好，尤其是弹劾之人越来越多，关于毒死许皇后的议论也越来越凶，霍云、霍山等就找霍显想办法。霍显把下毒之事告诉了他们，他们非常震惊，认为唯一的一条路就是联络霍氏及诸女婿一同起事，并借上官太后的名义废了宣帝，方可无虞。谁知隔墙有耳，马夫听到了他们的议论，夜里又与别人私议此事。他的朋友偷听到后，为了希图富贵，就跑到皇帝那里告了密。霍家的谋划至此事泄。
宣帝立刻传令捉人，但又马上传命止捕，就是这样，霍家也知谋泄，急忙联络诸亲戚准备起事，诸亲戚知道谋反必致连坐，为求一线生路，也都纷纷同意。好在又无声息，大家就又安定了一段。
其实宣帝是在一步步地实行。他怕霍家谋反之事尚未足传信众人。
贸然下令逮捕，恐会遭人议论，要等到霍家充分暴露出来，才好服众。
果然，霍家的问题越来越多，名声也越来越臭。霍家便又密谋杀了魏相，废去宣帝，立霍禹为天子。又有人探得了这一消息，报知了宣帝。
宣帝见时机已成熟，立即派兵，凡霍氏宗族亲戚，一概拿办。霍山、霍云服毒自杀，霍显、霍禹被腰斩，霍氏女婿外孙，尽数处死，诛灭不下千家。
纵观霍光的一生，虽不能说真像周公辅佐成王那样尽善尽美，倒也确实能尽心尽力，秉公治朝治国，至于许多处理不当的涉及个人的事，细细地推敲起来，倒也未必是霍光原意，实在是情势所迫，无力回挽。
应当说，周公辅政只是一个传说，一种理想，而到了霍光，是实实在在的具体操作，问题十分复杂，虽想以身作则而不得，能做到霍光这个样子，凭心而论，已很不容易了。
但霍光是只知谋国，不知谋家的。他完全有理由考虑到身后家族的败亡。其一，毒死许皇后留下了祸根；其二，二十多年的执政结怨太多，且有许多越权之事；其三，妻子霍显起自微贱，欲壑难填，狂悖残忍；其四，诸子孙多是轻狂之人；其五，子婿盘踞朝廷，势力太大，极易遭忌；其六，不知收敛。这六条中的任何一条，均足以使家族败灭，霍光却未对任何一条作出具体的安排，更无任何善后措施，其败亡是无可避免的。不灭在宣帝的手里，也会灭在别人的手里。别说还要谋反，就是谨慎处世，也决计逃脱不了，只是谋反使败亡来得快一点、彻底一点罢了。霍光只知谋国，不知谋家，按中国传统观点来看，霍光不是一个上档次的人物。
以柔治国
以柔克刚是中国人处世治国的梦想，但由于现实的原因，往往以刚克柔者多，以柔克刚者少，刚者多胜，柔者多败。然而，“柔道”的妙处也不是一般人能够理解的。
应该说，东汉的开国皇帝刘秀就是一位以柔开国、以柔治国的明君。
他以“柔”为主，在政治、军事诸方面也都体现出了这种精神，应该说他把中国的“柔道”发挥到了一个很高的境界。
汉光武刘秀像刘秀生于公元前6年（哀帝建平元年）12月，是汉高祖刘邦的九世孙。其父刘钦是南顿县令，在刘秀九岁时病故。在他二十八岁的时候，王莽的“新政”很不得人心，加上天灾人祸，各地的农民纷纷起义，尤其是绿林、赤眉两支起义军，声势浩大，直可与王莽军一较高低。在这种风起云涌的形势下，刘秀借南阳一带谷物歉收，与兄刘寅谋划起义，得众七八千人。
刘秀起义后，逐渐与当地的其他起义军汇合，一度并入绿林军。公元23年（更始元年）2月，绿林军为了号召天下，立刘秀的族兄刘玄为帝，年号更始，绿林军的势力得到了迅猛的发展。王莽纠集新朝主力约四十二万人，号称百万，派大司空王邑、大司徒王寻率领，直扑绿林军。
刘秀等人放弃阳关，率部退守昆阳。刘秀坚决反对逃跑，认为如果并力御敌，尚有保全的希望，如果分散突围，必被包围消灭。他亲自率领十三骑趁夜突出南门求救，他说服了定陵、郾城等地的起义军，亲率精兵数千人偷渡昆水，突袭敌人，敌人大败。
昆阳之战是中国军事史上以少胜多的光辉范例，也为起义军推翻新莽政权奠定了基础。因为自打败了王邑、王寻的军队以后，刘秀兄弟两人威名日盛，这就遭到另一派起义军将领的嫉妒，加上刘秀的哥哥当初曾反对立刘玄为帝，正好借此进谗，说刘秀的哥哥不除，终为后患。刘玄懦弱无能，并无主张，便听了人言，准备伺机发动。刘玄借犒军之机，大会群将，制造借口，但不久起义军内部发生了分裂，刘秀的哥哥被杀。
刘秀当时正在父城，听到哥哥被杀，十分悲痛，大哭了一场，立即动身来到宛城，见了刘玄，并不多说话，只讲自己的过失。刘玄问起宛城的守城情况，刘秀归功于诸将，一点也不自夸自傲。回到住处，逢人吊问，也绝口不提哥哥被杀的事。既不穿孝，也照常吃饭，与平时一样，毫无改变。刘玄见他如此，反觉得有些惭愧，从此更加信任刘秀，并拜为破虏大将军，封武信侯。
其实刘秀因为兄长被杀而万分悲痛，此后数年想起此事还经常流泪叹息。但他知道当时尚无力与平林、新市两股起义军的力量抗衡，所以隐忍不发。刘秀的这次隐忍，既保全了自己，又在起义军中赢得了同情和信赖，为他日后自立创造了一定条件。等到起义军杀了王莽，迎接刘玄进入洛阳，刘玄的其他官属都戴着布做的帽子，形状滑稽可笑，洛阳沿途的人见了，莫不暗暗发笑。唯有司隶刘秀的僚属，都穿着汉朝装束，人们见了，都喜悦地说：“不图今日复见汉官威仪。”于是，人心皆归刘秀。
刘玄定都洛阳以后，便欲派一位亲近而又有能力的大臣去安抚河北一带，刘秀看到这是一个发展个人力量的大好机会，便托人往说刘玄。
刘玄同意了这个请求，刘秀就以更始政权大司马的身份前往河北。开始了扩张个人势力，建立东汉政权的活动。