严嵩虽然在嘉靖朝权倾一时，位高权重，为人也阴险狡诈，但他在家庭生活中却是一个好丈夫，与结发妻子欧阳氏的感情很好，没有其他姬妾，二人育有二女一子。严嵩柄政时，朝野上下流传着“大丞相”、“小丞相”的称呼，“大丞相”指的是严嵩，“小丞相”指的就是严嵩独子——严世蕃。
据说，明代有名的一部小说《金瓶梅》就与严世蕃有着千丝万缕的联系。小说中的“西门庆”这个主要人物就是影射严世蕃而来的。严世蕃小名“庆儿”，号“东楼”，《金瓶梅》的作者“兰陵笑笑生”将“东楼”化作“西门”，直接用“庆”字为名，创造出这个小说人物，来影射严世蕃荒淫无度的生活。这里姑且不去考证“西门庆”到底是不是以严世蕃为原型，但严世蕃贪酷成性、生活糜烂却是跟小说里的西门庆非常相似。
一次，严嵩的义子赵文华从江南回来，送给严世蕃的见面礼就是一顶价值连城的金丝帐，还给严世蕃的二十七个姬妾每人一个珠宝髻。就这些礼物，严世蕃还嫌太少，心里非常不满，可见他的贪婪到了何种程度。世宗的第三子裕王朱载垕(chòu)，按例应被立为太子，但世宗对他不是很亲近。因此，严氏父子对他也很冷淡。就连照例每年该给裕王府的岁赐，户部都因为没有严氏父子的命令而一连三年都没给发放。最后，这位未来的皇帝凑了一千五百两银子送给严世蕃，严世蕃欣然接受，才让户部补发了岁赐。严世蕃每每向人夸耀：“天子的儿子尚且要送给我银子，谁敢不给我送银子?”严世蕃的胆子真是大到了极点。
严嵩虽然奸贪狡诈，但却只有欧阳氏一个妻子，二人携手终老。严世蕃在这点上与他父亲截然不同。贪必好淫，淫必生贪，这话用在严嵩身上未必准确，但用在严世蕃的身上却很合适。他荒淫无度的生活比起《金瓶梅》中的西门庆，有过之而无不及。严世蕃的妻妾就有二十七个，其他的侍女、丫鬟更是无数。他让他的这些美妻娇妾，列屋群居，她们所用服饰，绣着龙凤花纹，点缀着珍珠宝石，极尽奢华之能事。严世蕃用象牙床，围着金丝帐，朝歌夜舞，很为自己的奢糜生活感到得意。但是他没想到，这正是他最被百姓痛恨的原因之一。嘉靖一朝，南倭北虏，民不聊生，严世蕃的大肆奢华铺张当然就更招人忌恨。
严氏父子因其贪赃枉法早就被正直之士所痛恨，不断有人站出来弹劾他们。但是，因为明世宗的偏听偏信、严嵩的奸猾狡诈，这些弹劾不但都没有奏效，那些上章弹劾他们父子的人反而往往备受打击，丢官不说，有的还搭上了身家性命。
沈炼，曾作锦衣卫经历。嘉靖三十一年(1551)，上疏弹劾严嵩“贪婪愚鄙”，历数其“受将帅之贿，边防弛备”、“受诸王馈赠，干预宗室事务”、“揽御史之权，败坏政纪”、“嫉贤妒能”等罪状。世宗不但未将严嵩治罪，还认为这是沈炼诋毁大臣，下诏将沈炼廷杖、谪官。严氏父子并不罢休，几年后，指使党羽寻机陷害，沈炼被斩，他的三个儿子，两个被打死，一个被发配到边疆。
被誉为明代第一直谏之臣的杨继盛也是因弹劾严嵩而获罪。嘉靖三十二年(1553)，时任兵部员外郎的杨继盛上《请诛贼臣疏》，弹劾严嵩“坏祖宗之成法”、“窃皇上之大权”、“误军国之机”等十大罪状、五大奸宄(ɡuǐ)，揭露严嵩祸国殃民的真实面目。在奏章的最后，杨继盛恳求皇帝“听臣之言，察嵩之奸”。疏中所奏严嵩的罪状，严嵩无法抵赖，但严嵩毕竟老谋深算，他抓住杨继盛疏中“或问二王(裕王、景王)，令其面陈嵩恶”这句话，诬陷杨继盛与二王串通。刚愎自用的世宗最忌讳大臣们越过他和自己的儿子们结交，生怕因此而产生逼宫，遂不问疏中揭发严嵩的罪状是否属实，就降旨将杨继盛逮捕入狱。在下狱两年多后，杨继盛于嘉靖三十四年(1555)被处决。行刑前，杨继盛从容赋诗：浩气还太虚，丹心照万古。
生前未了事，留与后人补。严氏父子再次侥幸逃脱，但是他们身边早已危机四伏了。
世宗的荒诞、自大、残忍和喜欢玩弄权术，使得他的行事无法用正常的逻辑来解释。严嵩的仕途生涯与世宗紧紧相连，他的荣辱兴衰都决定在皇帝一个人的手里。严嵩入阁二十一年，任首辅十五年，除了杨士奇，有明一代，无人能及。严氏父子奸险误国，早就成为众矢之的，但是世宗却无动于衷。那么，严嵩究竟是怎么垮台的呢?原来，世宗下决心除去严氏父子，还是阴谋和权术共同作用所产生的结果。
嘉靖四十年(1561)，严嵩的妻子欧阳氏去世，严世蕃按旧时礼制应回乡守制三年，虽然皇帝应严嵩的奏请，准许严世蕃留京，但他在居丧期间已不能代父入值票拟。严嵩此时已有八十余岁，老朽昏聩，他所作的票拟往往言语不清，前后矛盾，他所进献的青词也都是别人代写，这些多不称世宗的心意，遂对严嵩渐渐心生不满，后来又听说严世蕃贪虐淫纵，对其父子更感厌恶。
这时，严嵩可谓是祸不单行，自己不得皇帝的欢心不说，还与时任次辅的徐阶发生了渐趋白热化的斗争。徐阶是一个聪明而又有权略的人，他感觉到世宗对严嵩态度的微妙转变，就买通了世宗很信任的一个名叫蓝道行的道士。蓝道行在扶乩的时候，显现出“分宜父子，奸险弄权”的字样，世宗问：“上天为何不诛杀他呢?”蓝道行诡称：“留待皇帝正法。”世宗心有所动。就在这一年，皇帝居住的万寿宫发生一场大火，皇帝不知以后怎么办，向大臣询问，严嵩竟建议皇帝搬到南宫去住。南宫是旧时英宗被幽锢之所，这对喜欢祥瑞的世宗来讲，真是犯了大忌讳。徐阶迎合皇帝心意，主张重建万寿宫，没多久，新宫拔地而起，比先前更巍峨漂亮。这样，徐阶在世宗心目中的地位渐有取代严嵩之势。这件事成了严嵩晚年命运的转折点。
严嵩失宠，御史邹应龙闻风而动，上疏弹劾严嵩。嘉靖四十一年(1562)，在徐阶的怂恿下，皇帝夺去严嵩一切官职，勒令回乡，严世蕃谪戍雷州卫。严世蕃在谪戍雷州中途跑回江西老家，本性难移，继续作恶多端。嘉靖四十三年(1564)，他又被御史弹劾。世宗大怒，将严世蕃逮捕下狱。第二年案结，世蕃被斩，严嵩被削籍为民，家产尽抄。严嵩只得在祖坟旁搭一茅屋，寄食其中，晚景非常凄凉。嘉靖四十五年(1566)四月，一代奸臣严嵩在孤独和贫病交加中去世。他死时穷得买不起棺木，也没有吊唁者。临死前，严嵩艰难地写下“平生报国惟忠赤，身死从人说是非”，掷笔而死。
当年的十二月，明世宗也龙驭宾天了。奸臣佐昏君，这一对君臣还真是“相得益彰”啊。二人同年而死，一个时代落幕了。
从严嵩临终的留言可以看到，他是带着无尽的委屈、不甘心和愤懑到了另一个世界的。《明史》称：“嵩窃政二十年，溺信恶子，流毒天下，人咸指目为奸臣。”严嵩肯定想不到，他所背负的“奸臣”骂名不但没有因他的去世而消失，反倒广为流传，他的名字成为奸臣的代名词。与此有关，这里不得不提到一个明代有名的史学家——王世贞。
王世贞与严嵩结怨，传说有一段公案。王世贞的父亲就是被世宗处死的王忬。一个偶然的机会，王忬得到了价值连城的国宝《清明上河图》，不久就被严氏父子得知，二人就向王忬索要。王忬迫于严氏父子的权势，就让一个画师临摹了一张送给严嵩，后来事情败露，严嵩对其怀恨在心。后借王忬戍边不力下狱之机，严嵩上奏本将其害死。因为这段积怨，王世贞在他所写的《嘉靖以来首辅传·严嵩传》以及其他史著中，对严嵩多有诋毁，严嵩的声名就此更是一落千丈。
