严嵩最终失势倒台是必然的，因为但凡会弈者都懂得舍车保帅，超一流的棋手嘉靖在随时根据棋局进展做着他的选择。
当然这其中的因果，我们也不能完全推托于客观，严氏父子主观上需要承担一定的责任。一则严嵩确实老了，二则严世蕃确实招来了怨声载道。
赵文华这个人聪明而狡诈，严嵩当年做国子监祭酒的时候，他认作干爹，严嵩对其可谓是一路栽培，关爱有加，直到扶持他干到副部级的工部右侍郎。赵文华受命巡视东南抗倭建功后，返京即被提升为大部长。翅膀渐渐硬起来的赵文华，这时觉得干爹这棵大树的枝干还不够高，他眼睛开始瞄上皇帝。自江浙督军回京，瞅准一个机会，赵文华给嘉靖皇帝“密进药酒方”，悄悄地给皇帝送去一种药酒秘方，名曰“百花仙酒”。自个儿要献殷勤你就献呗，赵文华却节外生枝，为了证明自己所送之药酒确有大补长寿的功效，他扯上了干爹，言之凿凿地对皇帝讲：“饮可不死，独臣与嵩知之。”喝这种酒绝对可以长生不老，严阁老正是常饮此酒，所以陛下您看他年事虽高依然健康矍铄。嘉靖兴奋之余，嘀咕上了：“嵩有是方不奏，乃文华奏我。”严嵩有这么好的长寿秘方不介绍给朕？不管赵文华是有意还是无意，他的小聪明可给严嵩惹下了大麻烦，让皇帝起了疑心。问题的严重性还不完全在于皇帝猜疑，可怕的是旁边站着一位推波助澜的徐阶。仿佛今天的狗仔队整天挖空心思搜寻明星们的情事绯闻，徐阶一直在苦苦捕捉严嵩的疏忽漏洞，这可真是得来全不费工夫。
工部是主管基建工程的，这个职位油水可大，赵文华借此捞了不少，分赃给严世蕃的数目也不小。偏偏在皇帝关注的正阳门楼的施工建设上，他大而化之，胆大包天地挪用建门楼的材料，先给自己在西长安街边盖了一座豪宅。此事一出，徐阶们借题发挥，嘉靖龙颜大怒，赵文华撤职查办，被遣返回乡。回乡的船上，赵文华“一夕手扪其腹，腹裂，脏腑出，遂死。”死得真是蹊跷，自己揉肚子会揉出五脏六腑开了膛。人虽死了，但徐阶的文章还没做完，要痛打落水狗，直到连狗主人一块儿打倒在地。不久就有人上书，揭发赵文华还曾侵吞军饷，数额惊人，不可能独吞，肯定分给了严世蕃。皇帝随即命人去抄了赵文华的家。
赵文华一向深得严首辅器重，认作干儿子，嘉靖皇帝并非毫不知情，这个干儿子损公肥私胡作非为，干爹能一点不知道？皇帝对严阁老进一步恼怒生疑。
最终让严嵩身后落下恶名、千夫所指的，是王世贞。说来政界就是如此诡谲，声名就是如此叵测，平生谨言慎行不与人争锋的严嵩，压根没有惹过这个日后成为大明风云人物的王大人，但是非找上门来让你难逃干系，最终你莫名地成了是非的主角。
王世贞是明中后期文坛的盟主，对不幸的严嵩而言，这位王大人不仅诗文绝佳，日后更专注于效法太史公个人修史，成一代盖棺定论的权威。王、严的过节从哪儿产生的呢？王世贞在调任山东青州兵备副使期间，他的父亲王忬进右都御史（都察院长官），兵部右侍郎（国防部副部长），蓟辽总督（守卫京师东北面的首长）。蒙古俺答进犯抢掠到京师，这一局面的造成，与王忬指挥的滦河（河北省北部）作战失利有着直接关系。嘉靖震怒，手谕“诸将皆斩！”王忬自然在问斩之列。这看起来不应跟严嵩有什么瓜葛呀？非也，王世贞——这位大才子不光后来会编剧写戏，他更会演戏。得到父亲入狱将要问斩的讯息，王世贞火速由山东赶到京城，拽上弟弟王世懋，演了一出让严嵩糊里糊涂成为白脸主角的戏。“与弟世懋日蒲伏嵩门，涕泣求贷。”兄弟俩天天跪在严嵩家门口痛哭求饶。——世上有一种危险而可怕的游戏，就是你明明不是主角却被人认定了就是主角，勉力为之，你说了不算，置之不理，人说你无情。主宰王忬生死的是嘉靖而绝非严嵩，严嵩如果想杀谁就杀谁、想免谁就免谁，还能有那么多连篇累牍的弹劾奏章送到皇帝手里吗？面对人家拿你当做救命之神的尴尬场面，严嵩能做的就是表示一点安慰，这是一个无能为力者的正常表现。王世贞没几天又排出一部新戏，“日囚服跽道旁，遮诸贵人舆，搏颡乞救。”这回兄弟俩把朝里所有掌权的都拉进了戏里，两人身穿囚服，跪在朝臣上朝的道上，见轿子就拦，磕头作揖哭求文武大员帮忙救他爹；为了达到感天地、泣鬼神的戏剧效果，王世贞不惜斯文扫地自掌嘴巴以赢得同情。王氏兄弟精心排练的“跪地救父”剧目演完了，并没有使嘉靖发慈悲，王忬还是按律论斩了。但这笔不共戴天的账，王世贞终生记在了严嵩的头上。——一个旷世文才并不代表他就不会有一颗阴暗偏狭狠毒的心，后来王世贞正是充分利用他手中的生花妙笔及其文坛号召力，展开了对严嵩穷凶极恶的口诛笔伐。《嘉靖以来首辅传》是王世贞满腔怒火投向严嵩的一棵重磅炸弹，把严嵩描写得一无是处。为了让人们相信其说，王世贞从史学理论入手，极力赞扬司马迁而否定秦汉以后的官修史著，赤裸裸地主张一人所言优于众人所录。借史著将严嵩归入遗臭万年的奸佞之列后，王世贞尚不解恨，废寝忘食地编写成《凤鸣记》等戏曲，在弟子们的热捧下连番上演，力图让那些目不识丁的草民都知道严嵩是个大奸臣，是跟秦桧一样令人不齿的跳梁小丑。上述这些表演，当然都是在严嵩化作尘土无法争辩的情况下进行的，严嵩的“奸”名，就是王世贞艺术公关的杰作。——这无疑告诫当朝的权贵们，秀才之笔万勿小觑。
王世贞在当时虽然没有实现救父的目的，但客观上却再一次让严嵩染上一身骚，加上狡猾的徐阶暗中用兵，再次不断有人上疏弹劾严嵩。嘉靖并不讨厌严嵩，但这位操控局面的高手也有他的底线，更在审时度势权衡利弊，他能精确地算计出得与失，特别是你严阁老怎么养了那么个不成器的儿子，这是嘉靖不能不严肃对待的问题。“自是亦稍厌嵩矣。”从皇帝那里开始向严嵩发出了危险的信号，而徐阶正期待着黎明的曙光。鬼使神差，一向出言谨慎的严嵩，在一件极其敏感的事情上，说出了一句昏话，一着不慎满盘皆输。嘉靖四十年（公元1561年）春，嘉靖长期居住的万寿宫遭火灾，不得不暂时待在玉熙宫，而玉熙宫不够宽敞，嘉靖感觉很不舒服。皇帝召几位阁老征询意见，八十一岁的严首辅信口说：“暂徙南城离宫。”陛下不行先搬到南宫去住吧。话一出口，严嵩恐怕就后悔了，因为他发现皇帝的脸色大变，非常不高兴。徐阶趁机吹响了冲锋号，开始总攻，他这时完全无视严首辅的存在，铿锵有力地提出：应立即着手为陛下建一座新的宫殿。“上喜，报允。”嘉靖听了十分开心，马上批准由徐阶去督办。“自是，凡军国大事悉谘之阶。”这件事之后，军国大事嘉靖都找徐阶来商量，严嵩被晾到一边去了。为什么一句“请徙南内”就招致嘉靖如此怨恨？严嵩提到的南宫是个晦气不祥的地方，是当年被蒙古人俘虏放回的明英宗朱祁镇被弟弟朱祁钰软禁的地方。想想看，一向自视英明的朱厚熜能去那样的地方吗？严嵩太“奸”了，“奸”得连这种愚蠢的话都能说出口！徐阶春风得意，快马加鞭，到年底，“时帝渐有疑嵩意，密谕徐阶举堪辅政者。”严嵩身上的油脂已尽，形同枯槁，嘉靖决定彻底弃之不用了。
