上官太后头戴皇冠，身着朝服端坐在承明大殿上威严地说：“听说你们是来弹劾皇帝的，既然开列了皇帝的不是，就让皇帝也来听听。大将军！你去把皇帝请来，就说哀家要召见他。”霍光欲走，太后又交代：“记住，不准昌邑国的一个官员进殿。”霍光应道：“谨遵太后懿旨！”
霍光带着几个亲兵来到未央宫前殿发现刘贺不在，问守宫的侍卫，侍卫也不知道皇帝去了什么地方。霍光慌了，莫非是走漏了消息，让刘贺逃走了。刘贺在京城没有势力，但在昌邑国却有根底。如果让他逃回昌邑国起兵讨伐朝廷，其理由比当年刘旦起兵更有号召力。刘旦起兵讨伐朝廷，自然是叛乱之举；而刘贺则是名正言顺的皇帝，只要他把“讨逆”的大旗一树，全国各地都会以勤王救驾的名义讨伐他霍光。“废帝”虽属万不得已，但在刘贺的狂悖行为没有公布之前，各封国自然都把刘贺当作正统皇帝，而他们则是篡朝谋位的叛臣。到那时，他长着一百张嘴也说不清其中的道理，跳到黄河也洗不清叛贼这个污名。
他正准备调动宫里的禁卫军搜查和追捕刘贺时，一个侍卫跑来说皇上在御书楼，霍光心里的那块石头才落了地。难道皇帝收住了心，也去御书楼读圣贤书了。如果他能早点悔心改正，哪有今日的废君之事。可是，当他走进御书楼时，从里面传出来的不是朗朗的读书声，而是靡靡之音，他感到奇怪。御书楼乃是清静之地，怎么会有音乐之声？他急急地登上御书楼，里面坐的全是不三不四的人。刘贺坐在他们中间，正张着嘴巴如痴如醉地盯着几个半裸的舞女跳舞。正好一曲刚尽，舞女们都向刘贺扑去，偎依在刘贺身边的妓女红和妓女兰眼里充满了醋意，摇晃着刘贺的肩臂，狐媚搔首地说：“陛下可别让这几个狐狸精迷住心窍，忘了俺姐妹俩对你的忠贞。”刘贺对她俩不屑一顾，抱住扑在怀里的两个舞女，夸奖她们：“唱得好，跳得也好。朕封你们为二级美人，日夜陪驾。”霍光怒不可遏，大吼一声：“胡闹！”
刘贺抬眼看见是大将军，先是一怔，接着嬉皮笑脸地招着手说：“大将军今天是不是也有雅兴，想来看看舞，听听歌。”霍光按捺着怒火说：“太后有旨，召陛下到承明殿议事。”刘贺问：“什么事？”霍光说：“陛下去了就知道了。”刘贺回头招呼那些老少：“大家随朕到承明殿拜见太后去。”昌邑国来的那些官员放肆地呼喊着：“好啊，进宫什么都见识了，就是还没有见过皇太后。”“听说皇太后长得楚楚动人，一定能饱眼福。走啊！”霍光气得额上的青筋暴起，但极力忍耐着。好赖他们的好日子不长了，老夫不跟他们计较。
霍光陪着刘贺来到金马门外，回身看了一眼长长的随从队伍，猛然拉着刘贺走了进去，他身后的门随即关上。刘贺回身不见随从进来，奇怪地问：“为什么把他们关在外面？”霍光说：“太后有旨，不准昌邑国的臣僚进去。”刘贺说：“早点说一声不就行了，何必突然袭击。”
金马门外，昌邑国的那些朝臣和侍从正在莫名其妙地东张西望，范明友带领部队飞跑而来，迅速包围了那些人。那些人呼喊着：“我们是昌邑国的人，皇帝的随从。”将士们不容分说地把人按倒在地，捆绑起来。
承明殿内静寂无声威严冷峻。大家都在等待着刘贺的到来，等待着观看即将开始的废帝一幕。
刘贺进来一看这阵势，吓得倒退了两步。霍光在后面催促道：“太后已经等候陛下多时了。”刘贺不得不向里面走去。来到御阶下，他迟疑了一下，迈步要上台阶，被席喜用拂尘挡住了。霍光提醒刘贺：“还不快给太后请安。”刘贺只得跪在地上说：“侄儿给皇太后请安了。”上官太后不悦地说：“坐吧！”席喜搬来一把座椅放在刘贺面前，刘贺只得在下面坐下。上官太后责问刘贺：“陛下可知罪？”刘贺满脸迷惑地问：“儿臣有罪？有何罪？”上官太后威严地喊道：“宰相！”杨敞听到太后喊他，吓得浑身筛糠般地抖动，擦着汗出班俯伏在地。上官太后说：“宣读你们的奏章吧！”
杨敞颤抖着手从袖中掏出奏本，正要宣读，发现奏本拿颠倒了，急倒过来，念道：
“臣宰相杨敞，大司马、大将军霍光，左将军张安世，度辽将军范明友，前将军韩增，后将军赵充国，御史大夫蔡，宜春侯王谭，当涂侯魏相，随桃侯赵昌乐，杜侯屠耆堂，太仆杜延年，大司农田延年，侍御史严延年，宗正刘德，少府史乐成，执金吾李延寿，大鸿胪韦贤，左冯翔田广明，右冯翔周德，关内侯苏武等文臣武将冒死上书太后陛下，孝昭皇帝驾崩，奉太后懿旨派使节去昌邑国迎接昌邑王……”
杨敞偷觑了刘贺一眼，看见刘贺在低头倾听，又继续念下去：“昌邑王在全国举丧期间拒绝素食，带领他的部属吃喝玩乐；在赴京奔丧途中，又暗藏妓女淫乐；尤其是当了皇帝以后，更是无法无天，荒唐至极……
刘贺面色渐变，变得赤红。
杨敞的情绪渐渐平静，宣读的声音也高昂起来：“……他远忠臣，近小人，对辅国重臣和迎接他的使节没有一句褒扬的话，而对昌邑国来的刀笔小吏、奴仆车夫、奸邪之辈封官晋爵，让他们无功受禄，把大汉王朝变成昌邑人的天下……他无视宫规法度，擅自撤走长乐宫禁卫换上昌邑国的兵卒；对太后野蛮软禁，对大将军随意驱逐；又动用太后的御用马车，让那些昌邑国来的妓女放肆地在大内奔驰，践踏皇宫禁地；还随便征调太庙乐队，滥发功勋绶带，破坏汉朝的法规典律……” 刘贺的罪恶激起了群愤，殿下一片哗然。
杨敞越读越气，连他也不曾想到刘贺无礼到这般程度，他一边擦着头上的汗，一边又读下去：“……他奢华糜烂，打猎出游都要出动法驾，兴师动众，劳民伤财；他荒淫无道，强奸太后宫女，先帝太妃，淫乱宫闱；他目无法度，登基二十七日就发出一千一百二十七件征调命令，加重地方负担，使老百姓苦不堪言，自己却随便打开宫库，拿出金银玉器赏赐下人，开口就是千金，已经荒唐到人神共愤的地步。”
霍光愤然站出，跪在地下，恳求太后：“刘贺荒淫昏聩到如此程度，不能让他再当皇帝危害国家，祸害百姓了。国家比君王重要，臣请太后废黜刘贺。”大臣们跟着跪在地下向上官皇太后请旨：“大将军讲得对，国重君轻，请太后废掉刘贺，另立贤德新君治理天下。”
刘贺吓得从座椅上滑落在地上，爬跪着向太后求情：“儿臣知罪，请太后给侄儿改过自新的机会。”上官太后果断地说：“依众卿所奏，废黜刘贺，另选新君。大将军，你送刘贺到昌邑国客栈等候发落。”
刘贺在位二十七天，没有来得及拟定帝号、年号就被废黜了，是历史上最“短命”的皇帝。
刘贺自感自叹，早知今日，当初就不该进京来当这个皇帝。他没有分辩，低着头跟着霍光走出承明殿却不走了。霍光问：“你怎么了？”刘贺厚着脸问：“大将军是不是因为金太妃那个女人要废掉朕？”霍光哭笑不得。刘贺追问：“大将军怎么不说话？”身正不怕影子斜。霍光没有回答刘贺以小人之心度君子之腹的揣猜，警告他说：“你已经被废了，以后不要再自称‘朕’了。”刘贺答应着：“是，是！”
等刘贺退出去后，张安世出班奏道：“古时候被废黜的帝王都要放逐到边远的地方。臣建议把刘贺放逐到汉中郡，使他远离朝廷，以防新变。”上官太后宽厚地说：“他在昌邑还有姐妹，还是让他回昌邑骨肉团聚吧！他在昌邑的财产也全部还给他，不过不能再做昌邑王了，撤销昌邑国改设为山阳郡，另派郡长就是了。”田延年出班奏道：“太后对废黜的皇帝太宽容了。”上官太后说：“本后以仁教化，宽厚待人，让他回昌邑闭门思过。就这样办，散朝吧！”
未央宫外停着一辆马车，赶车的是龚遂。
刘贺一见龚遂，万分悔愧地说：“我后悔没听龚大人的劝告。”龚遂什么话也没说，扶刘贺上了车，赶起就走。
霍光认为刘贺之所以放荡不羁是受了昌邑国那些人的纵容。从平息盖长、上官、刘旦叛乱之后他又恢复了刘彻时代的严刑峻法，下令全部诛死昌邑国的那些人，唯有龚遂和王吉得以幸免。