嘉靖二十七年（1548年），严嵩升为首辅时，已经年近七旬了，逐渐年迈体衰，精神倦怠。这时，他还要日夜随侍在皇帝左右，已经没有时间和精力处理政务。所以遇到有事需要裁决，大多数时候都依靠他的独生子严世蕃。他总是说：“等我与东楼小儿计议后再定。”有时候私下里就让世蕃直接入值，代他票拟（内阁在接到奏章后作出批答，再由皇帝审定，是阁臣权力的重要体现）。所以朝野上下流行“大丞相”、“小丞相”的说法，“大丞相”指的是严嵩，“小丞相”指的就是严嵩独子——严世蕃。严世蕃奸猾机灵，通晓时务，熟悉国典，而且还颇会揣摩别人的心意，因此票拟多数都能迎合世宗的心意，多次得到世宗的嘉奖。于是严嵩干脆就将政务都交给儿子，所以才有世蕃“一时权倾天下”之说。
民间流传当时严氏父子把持着朝中官吏的任选、升迁大权的说法：官无大小，皆有定价，不看官员的口碑、能力，一切都以官员的贿金为准。事实上，严世蕃利用各种手段大肆搜刮，家财富可敌国，但是这些多是严世蕃瞒着严嵩所为，若说严嵩有罪的话，那也就是个教子不当。话虽如此，然而严世蕃之所以能如此贪赃枉法，当然也还是仗着严嵩这个后台，即使严嵩并不知情也难辞其咎。受儿子拖累，严嵩晚节不保。严氏父子的贪赃枉法早就被正直之士所痛恨，不断有人站出来弹劾他们。虽说可以逃过一次两次，但时间久了，对他们的地位威信自然会产生影响。
世宗荒诞、自大、残忍，喜欢玩弄权术，他的行事是无法用正常的逻辑来解释的，而严嵩的仕途生涯、兴衰荣辱又都与世宗紧紧相连。皇帝的好恶，决定着他的命运。嘉靖四十年（1561年），严嵩的妻子欧阳氏去世，严世蕃按礼守制三年，居丧期间已不能代父入值票拟。严嵩此时已有八十余岁，精力有限，他所作的票拟也往往言语不清，前后矛盾，他所进献的青词也都是别人代写，这些大多不称世宗的心意，所以世宗对严嵩渐渐心生不满，后来又听说严世蕃贪虐淫纵，对这对父子更感厌恶。
屋漏偏逢连夜雨，这期间又发生了两件事，使严嵩最终失去了世宗的宠信。第一件事是，嘉靖四十年（1561年），世宗居住的万寿宫因为发生火灾被毁坏了，皇帝只能暂住玉熙殿，但他嫌玉熙殿狭小，心情不好，决定重修万寿宫。严嵩觉得重修万寿宫不仅国库财
力不足，百姓也不堪力役，于是建议皇帝搬到南宫居住。南宫是英宗称太上皇时被幽锢的地方，这对喜欢祥瑞的世宗来讲，无疑是犯了天大的忌讳。第二件事是，严嵩与当时任次辅的徐阶的斗争渐渐白热化。徐阶是一个聪明而又有谋略的人，在他敏锐地感觉到世宗对严嵩态度的微妙转变时，就买通了一名世宗很信任的、曾与严嵩交恶的名叫蓝道行的道士。在蓝道行给世宗扶乩（一种迷信活动）的时候，世宗问：“今天下何以不治？”扶乩就显现出“分宜父子，奸险弄权”的字样，世宗问：“上天为何不诛杀他呢？”蓝道行称：“留待皇帝正法。”此时世宗已经有所心动了。
嘉靖四十一年（1562年），在徐阶的怂恿下，皇帝夺去严嵩一切官职，勒令回乡。严世蕃被谪戍雷州卫。但严世蕃在谪戍雷州途中又跑回了江西老家。嘉靖四十三年（1564年），严世蕃又被御史弹劾。世宗大怒，下令将他逮捕下狱。第二年案结，严嵩被削籍为民，儿子世蕃处斩，不久家被抄得片瓦无存。严嵩只好请人在祖坟旁搭了个茅屋，寄食其中，晚景非常凄凉。嘉靖四十五年（1566年）四月，严嵩在孤独和贫病交加中去世，临终前艰难地写下“平生报国惟忠赤，身死从人说是非”的诗句。一代首辅，便这样结束了他的一生。
百棺出殡
严嵩身后给今天的人们留下了很多谜团，丧葬之谜就是其中之一。嘉靖四十四年（1565年）三月，受儿子严世蕃的连累，一纸皇命，84岁高龄的严嵩被贬为庶民，抄家的时候，严嵩连一本医书都没能带走，只得两袖空空地回到分宜。但抄家早已经殃及了分宜，无处容身的严嵩只能住到他为祖父严骥修建的墓室旁的守墓屋里，直至他一年后去世。在守墓屋中的一年多时间里，严嵩是否会担心他的政敌在他死后也不放过他？他会不会为身后事作准备？事实上，严嵩对自己的身后事的确有所顾虑。他早就计划在自己出殡的时候准备两口棺木，分葬两地。两口棺木一传十十传百，成了百棺出殡的传说。今天在严嵩的家乡介桥村，这个至今家喻户晓的离奇传说还在流传着。老乡讲，在严嵩出殡那天，有一百副棺木同时出现，这一百副棺木大小、规格、重量都一样，抬出去埋在一百个地方，让人分不清真假。
但奇怪的是，在今天的分宜，却找不到任何有关严嵩墓的遗迹。按照《介桥严氏族谱》中的记载，严嵩葬于白田。白田村位于介桥东3公里，但是白田的村民根本就不知道严嵩的墓在自己的村边。难道是《介桥严氏族谱》记载有误，或者另有原因？
分宜县博物馆馆长何岸松说，1982严氏族谱中记载的白田严嵩墓所在的地方，看上去有些荒凉。年，他曾带一个普查队去白田搞过文物普查。因为之前在严氏族谱上看到，严嵩是葬在白田的蛇行，于是就带着普查队在蛇行找了两天的时间，但是没有找到严嵩的墓，只在白田蛇行发现一个大坑，直径大概3到4米。据当地上了年纪的人说，那个地方就是严嵩的墓，但是已经被人挖过。当年曾经下到白田严嵩墓室的村民谢生根回忆，当时这个墓的周围都是围墙，有台阶通往洞底，但在洞里只摸到几块板子，根本没有人的骨头。如此说来，族谱里记载的白田严嵩墓竟是一座空墓。如果严嵩墓真的有真有假，那么真正的严嵩墓又在哪里呢？
峰回路转，柳暗花明。2004年，分宜县破获了一起盗窃古墓案。这个案件破获的时候，墓里已经被偷盗一空。大概隔了八九个月，有村民把一块墓志铭交到了分宜县博物馆，据他说是在枣林山被盗的墓旁边捡到的。从墓志铭得知这座被盗墓就是严骥墓。在枣林山严骥墓旁，除了一个无头的石墓俑外，并没有发现其他特别的线索，但严骥的墓志铭告诉人们这个地方确实是严嵩家族的坟茔地。同时就在这枣林山上，在离严骥墓不到一百米的一个普通的农家院里，人们发现了另一个无头石俑。这个石俑比严骥墓旁的石俑要高大得多，是新余地区现存最为高大的石俑。在中国古代有着严格的礼仪规定，不同阶层的人只能享受不同的礼仪待遇，丧葬更是如此。在只出过一位一品宰相的分宜，如此高大的石俑又有谁配享用呢？
还是在这个农家小院，又有了更为惊人的发现。小院里铺路的砖头都是一块块不规则形状的榫头砖，这种砖不是建房用的普通砖，而是专门修坟用的墓砖。据小园的主人介绍，每块墓砖上都有一个印章，有些印章还可以模糊地看到字迹。洗刷过的墓砖上面清晰地写着“介桥寿相严公之墓”，但是否可以断定“寿相严公”指的就是严嵩呢？据江西博物馆的有关专家介绍，在介桥能够称为相，又是姓严，又长寿的，只有严嵩一个人，所以这些墓砖上的字应该就是指严嵩。那么这个普通的农家院落地下是否就是权倾一时的明代宰相严嵩之墓？严嵩的丧葬之谜是否能就此解开？这一切还有待进一步考古挖掘的证实。
身死从人说是非
严嵩带着无尽的委屈、背负着耻辱到了另一个世界。他能利用“真假墓”之谜躲避政敌的人身迫害，却无法阻止政敌对他名誉的诋毁。也许，他并没有料到“奸臣”的名声会落在棺盖之上，不但久久无法洗刷，而且越传越广，越播越远。妇孺皆知严嵩是个狡诈谄媚、残忍专横的奸佞臣子。提到奸臣，人们首先想到的就是秦桧和严嵩，以至于姓秦的不敢以嵩为名，姓严的不敢以桧为字。秦桧通敌卖国、害死岳飞，罪迹昭然，说他是奸臣，自是铁证如山。而严嵩被当成奸臣，则主要是与王世贞、徐阶等人的不实记载有关。
王世贞（1526~1590），字元美，号凤洲，又号 州山人。他的父亲就是被世宗处死的王 。王 之死本来与严嵩无关，只因为严嵩处在一个特殊的位置上，不可避免的要充当世宗的替罪羊。王世贞不仅是明代有名的文学大家，在李攀龙之后，独霸文坛20年，而且是一位著名的史学家。他一生以修国史为己任，对本朝实录、野史的失实缺陷情况极为不满。他立志要在史学领域做出一番成绩，事实上也做到了。王世贞的史学才能和他对明史的研究深得时人的称道。徐阶就曾说过：“此君他日必操史权，能以毛锥杀人。”
但是，王世贞在为自己的私家仇敌立传时，却没能秉笔直书。在他所写的《嘉靖以来首辅——严嵩传》以及其他史著中，对严嵩极力诋毁，王世贞的这一行为虽不能抹杀他的史学成就，却对严嵩的身后声名构成了致命的打击。
徐阶，在代替严嵩升任首辅以后，不惜利用一切机会诋毁、诬陷严嵩，最后借世宗之手以通倭卖国图谋不轨之罪处死严世蕃，将严嵩官籍削去，并且抄没了严家的家产。在严嵩去世的同年十二月，世宗也驾崩了。徐阶要修撰实录。按理说来，实录是传言后世、修撰史书的主要依据，但是在明代列朝实录中，“直笔”的传统几乎被抛弃殆尽，导致“实录”有颇多失实之处。事实上，对徐阶借修“实录”报个人私仇之事，很多明史专家都曾提到，苏均炜先生就说过：“徐阶诋毁严嵩的功夫既然做得天衣无缝，而又有一大群人的利益和他本人休戚相关，徐阶的见解自然被朝野一般人接受。”徐阶在严嵩生前杀了他的儿子，死后又诋毁他的名声，实在算得上是严嵩命中注定的克星。
在正史的影响下，小说、戏文对严嵩声名的打击也是非常厉害的。在明清小说、戏文中直接描写或间接影射严氏父子的作品数量相当可观，影响较大的有《沈小霞相会出师表》《金瓶梅》《鸣凤记》《一捧雪》《打严嵩》等等。这些小说和戏文，成功地影响了世人对严嵩的看法，世人的爱憎又反过来影响戏文的创作和对严嵩形象的扭曲，使得严嵩最终成了“奸臣”的代名词。公元1735年，《明史》定稿，《明史》列传第一百九十六——《奸臣传》中这样记载：“严嵩，字惟中，分宜人，无他才略，唯一意媚上，窃权罔利。”国史盖棺定论，严嵩由此背负起万世骂名。
在严嵩死后，朝廷官僚中的地域性纷争更加严重，而江西派因受严嵩的株连，在朝廷中的势力一直较弱，而且为严嵩评功喊冤是要冒极大危险的。在朝政日非，党争激烈，严嵩长期遭人非议，又没有有利证据证实的情况下，朝中一直没有人为他澄清是非也是常情。但众口铄金不足为信，明末的艾南英、谈迁、朱国桢等人就提出了不同的看法。尤其是艾南英在读了王世贞《 州山人四部稿》后就认为王世贞父亲的死并不能归罪于严嵩，王世贞之言并不可信。当然，这些评判都是从外人眼中看严嵩的。那么在严氏族人的眼中，严嵩又是怎样一个人呢？
乡人眼中的严嵩
前文提到，《打严嵩》这出戏在江西省新余的分宜县从来没有上演过。因为新余分宜县介桥村是严嵩的家乡，是一个有着一千多年历史的古老村落。在这里，随处可见的明清老宅似乎在诉说着严氏宗族昔日的辉煌。这里的老百姓说“我们的人我们自己打” ！可见分宜人对严嵩的感情非同一般，无论正史中如何记载，在乡人眼中，严嵩始终是乡人的骄傲。
乡人眼中的严嵩从小读书过目不忘，出口成对。他卓越的文采在日后日益显现，宦海沉浮中，他的诗作为他赢得了广泛的声誉。至今介桥村人提起严嵩的文采还引以为傲，在介桥村还能找到几百年前严嵩出生和启蒙时居住的瑞竹堂遗址。
介桥村有位叫严曰文的老人，和严嵩同属介桥严氏族人，他的小书房虽然只有几平方米，但却是国内收藏严嵩史料最齐全的地方，他一字一句手抄了500万字关于严嵩的文史资料。为了省下一点菜钱，已经80高龄的他，还在菜地忙碌着，老人一家的退休工资加起来每月有三千多块，但一家人每月的花销还不到200元。他如此节省就是想做一件事，出一本关于严嵩的书，用史实告诉大家，严嵩并不像人们想象得那么坏。
严嵩一生在分宜住了将近四十年，但在今天的分宜县城已找不到任何有关严嵩的遗迹。因为今天的分宜县城是新建的。那有着一千多年历史的分宜老县城早在20世纪50年代修建江口水库的时候就被淹到了水底，连同县城关于严嵩的记忆，都已沉在了水下。如今只有在介桥村还能看到有关严嵩的遗迹。分宜古城虽然被水淹没，但严嵩为百姓做的好事分宜人却依旧记得，在严曰文老人家里，一直保存着一块珍贵的木板，木板上面是严曰文在50年前雕刻的分宜古县城的全景图。分宜古城关于严嵩的记忆，严嵩为家乡做的好事，严曰文都记得清清楚楚。
严嵩十分关注家乡的教育事业，他先修了县学，捐给县学一千多部参考书，后来又修了孔子庙。严嵩当年为家乡建的七座桥、一条路，大多已经从人们的视野里消失，只有那座规模最大的万年桥，在枯水的季节里依然会露出水面。
万年桥建成前的袁河，一到每年的涨水时节，船翻人亡的事故就时常发生，分宜人渴望着袁河上能造起一座坚固的大桥，彻底解决人们千百年渡河的难题。
公元1556年，严嵩已任内阁首辅，此时的他正处于仕途的巅峰，他大可以采取官造的方式来给家乡建桥，但是对家乡感情笃深的他，更愿意用自己的钱来造福分宜的子孙。为了这座桥，严嵩两次到苏州，考察建桥，并置办石料。这座后来被赞美为“壮丽甲于江右”的万年桥凝结了这位当时已经七十多岁的老人对家乡分宜的深厚感情。
公元1558年6月，耗时两年多、雄伟壮丽的万年桥修建完成，严嵩一共捐了白银两万余两，当日的万年桥结构之精美、气魄之雄伟，堪称分宜古县城的标志性建筑。今天，在《分宜县志》的分宜古城图上，我们还可以领略到万年桥当日的雄姿。当日的桥上，新出产的稻米，各乡村的特产，琳琅满目；贩夫走卒，络绎不绝，一派车水马龙的景象。分宜县博物馆里还保存着很多万年桥的栏板，这些雕刻着花鸟虫草、飞禽走兽的栏板，非常精美。精致的花纹虽然已经略为模糊，但依旧能让人感受到万年桥当年的美丽。
严曰文说：“严嵩的千古骂名实在是个大冤案，实际上很多加在他头上的罪名基本上都是道听途说。说严嵩如何残害忠良，但是核对起来，一个都不是他干的；说严嵩是个大贪官也不真实，抄家抄出的财产，百分之九十都不是他名下的。”也许老人的结论掺杂了很多的感情因素，但不可否认严老耗尽几十年心血搜集的资料确实澄清了很多加在严嵩身上的不实之词。
在那被淹没水下的分宜古城里，在家乡分宜的老乡眼里，严嵩，是一个乡情浓浓的严嵩。但历史上真实的严嵩究竟是怎样的一个人，还没有确切的证据证实，也无法作出判断，就如同那淹没在暮色湖水中的万年桥，无法看清它的本来面目。