严嵩位居首辅时间久了，在很多部门都安插上了自己的亲信，大臣们屡次以此来弹劾他，这也引起了世宗的注意。为了表示对严嵩的疏远，有时候故意驳斥严嵩的观点，即使他的建议正确。后来，徐阶的同党吴时来、张翀、董传策上疏弹劾严嵩，严嵩知道这是徐阶的主意，就奏请皇上追查幕后主使，下狱问罪。世宗狡黠地说：“严爱卿既然堂堂正正，又何必怕别人说三道四呢？朕信任你忠心不二，谏官要说，那是他们的职责，等到日后查出他们故意诬陷爱卿，朕自当为你做主。”就这样，严嵩碰了个软钉子。看到皇上对自己不像以前那样言听计从了，心中开始惴惴不安。
嘉靖四十年（1561年），吏部尚书吴鹏因为年老退休了，严嵩举荐他的亲戚欧阳必进补这一空缺。世宗早就厌恶严嵩滥用亲信，见到举荐的名单，勃然大怒，气呼呼地摔在地上。严嵩为了达到目的，跪着哀求世宗：
“欧阳必进是老臣的至亲，我想在临死之前看到他有所建树，以此来安慰自己，望陛下恩准。”世宗碍于情面，只好暂且答应了他，刚刚过了三个月，就派人找了他一些错误，将他削职为民。严嵩的义子赵文华偶尔犯了点小错误，世宗就将他下狱治罪，同党们请求严嵩疏通一下，严嵩忧郁地说：“我也是爱莫能助啊，皇上心机难测，我怕是自身也难保啊。”
大将军仇銮，曾经被曾铣弹劾过，仇銮想借助严嵩的势力打击曾铣，就忍辱吞声地认严嵩为义父。后来仇銮因为剿寇有功，深得皇上器重，这时候的严嵩可能是老糊涂了，也可能习惯了，还是把仇銮当儿子看待，仇銮非常不满，多次当面顶撞严嵩。严嵩恼羞成怒，在世宗面前揭露仇銮的过失，世宗这次明确向严嵩表示：“你不要再说了，将军仇銮剿寇有功，功臣难道还要治罪吗？我不能因为小小的过失就擅杀功臣。”说罢，把脸一沉，不再理会严嵩。在以后的一段时间，世宗有好几次不召见严嵩。有一次，严嵩见徐阶、李本要去内宫见皇上，就跟着他们两个一起去了。走到西华门，守卫拦住了严嵩说：“皇上有旨，不经召见，任何人不得入内。”严嵩一惊，发愣了片刻，就低着头默默地回府去了。回到家中，严嵩把事情的经过说给儿子听，父子二人以为大祸临头，抱头痛哭。
过了几天，严嵩备下丰盛的酒席，邀请徐阶前来做客。徐阶来了以后，严嵩率领一家人跪倒在徐阶的面前，把酒杯高高地举过头顶，涕泪横流地说：“严嵩如果有了什么不测。这一家老小就靠您了。”徐阶慌忙站起身来，双手搀起严嵩，满脸严肃地说：“严阁老这是何意呀？徐阶实在是不敢当。”严嵩非要徐阶答应保护他的家人，然后才肯站起来。徐阶只好说：“你我同朝为官，保护他们也是我的责任，阁老不要多想了。”听了这话，严嵩才站起身来入座。
徐阶看到严嵩大势已去，加快了倒严的步伐。他知道世宗非常相信道人的话，就跟道士蓝道行作了一个周密的计划，联合扳倒严嵩。有一天，世宗向蓝道行问起国家兴衰大事。世宗问：“现在，天下为什么这么动荡？”蓝道行假借天神下凡写了一行字：“贤人不能起用，奸臣久在朝中！”世宗忙问：“谁是贤人？谁是奸臣呢？”蓝道行代天神回答：“贤人就是辅臣徐阶、尚书杨博，奸臣就是严嵩父子。”世宗深信道士的话，有意罢免严嵩，就在和内侍说话的时候透露出了这个意思。事也凑巧，几天以后，御史邹应龙在内侍家避雨，谈话中知道了这件事，就连夜写出了上奏的折子，弹劾严嵩的不法行为。
邹应龙，字云卿，皋兰人。明世宗嘉靖三十五年（1556年）进士，先被授予“行人”一职，后又升为御史，主要职责就是弹劾纠察贪官污吏。他任御史期间，奸臣严嵩父子祸国殃民、肆无忌惮，但他们又深得皇上的宠信，很多御史在弹劾严嵩的时候纷纷落马，邹应龙不敢轻举妄动，他在等待时机。现在，机会终于来到了。
在朝堂之上，邹应龙侃侃而谈，历数严家父子的种种罪恶，揭发得痛快淋漓，大快人心。他在奏折最后说：
“如果我说得不错，就请让严嵩等人退休，或者杀之以谢天下，或者斩严世蕃的人头悬挂在百尺高杆上，作为臣子不忠不孝的警示，那么，天下之人，都会拍手称快，山呼万岁圣明。如果臣所说的不实，那么，我愿被斩首，也悬挂在百尺高杆上，以谢严嵩、严世蕃父子，作为天下万世的谏官欺君罔上的警示，那么，臣虽然在九泉之下，也没有遗憾了。”这一番慷慨陈词，打动了在场的每一个正直的大臣，也打动了世宗。他当即下令，令严嵩退休回家，严世蕃下狱问罪，抄没严家的家产，严世蕃的儿子严鹄、严鸿，门客罗龙文，充军发配。老严嵩看到自己担心的那一天终于来了，也顾不上年老体弱，跌跌撞撞爬上金殿，跪倒在世宗面前痛哭：“念老臣陪伴陛下这么多年，如今已是风烛残年，我只有这一个儿子，陛下就饶了他吧！”世宗一听，又心软了，于是又改变主意，让严世蕃到边疆立功赎罪，严鸿削职为民，专门侍候严嵩。同时，提拔邹应龙为通政司参议。
子丧家败晚境凄凉
严嵩离开以后，再也没有人这么热衷于世宗的修道事业了。他常常想起严嵩协助自己修道，经常闷闷不乐，就告诉徐阶，自己打算传位给儿子，专心修道以求长生不老。徐阶奏道：“现在天下还没有太平，奸人还逍遥法外，求陛下杀了他们，永绝后患。”世宗不高兴的说：“你们不同意我修道也就算了，严嵩既然已经退休了，他的儿子已经处分了，再说别的，一律斩首。”严嵩知道世宗想念自己，于是就买通世宗左右的人，揭发蓝道行和徐阶阴谋陷害自己的事，蓝道行正受皇上宠爱，严嵩又有犯罪事实，这件事就不了了之。
严嵩开始回到江西南昌，正好遇到过万寿节。他为了取悦皇上，请道士蓝田玉建醮铁柱宫。蓝田玉善于招鹤，严嵩就写了《祈鹤文》上呈世宗，世宗一看，感慨万千，下诏说：“大臣之中，爱卿最理解朕的心意，追念爱卿朝夕相伴，助朕修道，撰写青词，无人能及，今虽远离京师，依然念朕修道之事，能在家乡颐养天年，是朕所盼。”诏书下来以后，严嵩很高兴，知道世宗还对自己有感情，就趁机上表：“臣今年八十有四，只有一个儿子严世蕃及孙子严鹄都远戍边疆，乞求让他们回家侍候我，为老臣养老送终。”表章奏到世宗那里，世宗考虑再三，最终还是没有答应。
徐阶看到严嵩还经常上表，怕他有朝一日卷土重来，就命手下人抓紧搜集严嵩的罪证，来个斩尽杀绝。第二年，南京御史林润上奏：“江洋大盗大多逃进了罗龙文、严世蕃家。罗龙文居住在深山里，乘坐华丽的轿子，身穿蟒袍，有依靠险要之地对抗朝廷的迹象。严世蕃获罪以后，和罗龙文每天诽谤时政，对皇上非常不满。他们家里共有四千家奴，都是亡命徒，当地人都说两人勾结倭寇，意图造反。”世宗听了大怒，立刻下诏逮捕严世蕃、罗龙文，全部依法处斩。
当初，严世蕃被邹应龙弹劾，远戍雷州，还没有走到地方，就私自回到家乡，然后大兴土木，修造豪华的住宅。严世蕃听信了手下人彭孔的话，认为南昌地有王气，就在那里修造宫殿，全部按照帝王的标准建造。他又聚集了许多亡命徒，整天加紧训练。罗龙文又有死党五百人，为严世蕃谋划投靠倭寇，先策反的牛信等人，也从山海关离开朝廷的队伍向北走，引诱敌人发兵攻打明朝，前敌的军队和倭寇相互呼应。徐阶听到这个消息，当天就命令黄光升等人赶紧上奏。严世蕃听说秘密泄露，绝望的说：“这一下死定了。”果然，世宗派两万人围剿，严世蕃的亡命徒们没有抵抗，束手就擒，朝廷以最快的速度审结了此案，严世蕃、罗龙文等首犯斩立决，其余从犯依照罪行处罚不等。严世蕃的家产全部被抄没，共计黄金三万多两，白金二百多万两，其他珍宝又价值数百万两白银。
严嵩看到自己苦心培养的孩子被斩，自己苦心经营的家产被抄，仆人们也都离他而去，走在路上，背后听到的是唾骂声。他无处投奔，只好寄住在荒坟间的一所破房子里。第二年，他又老又病，无力照顾自己，也不知道什么时候，人们发现有一段日子没有见他了，也许他死了吧。