金银财宝是个好东西，人见人爱。如是辛勤得之，别人羡慕；如是来路不明而得之，别人就有意见；如是巧取豪夺、损公肥私、靠行贿得来，则会引起公愤。严嵩当宰相二十余年，窃权弄柄，排斥、诛杀异己，富甲王室，威福莫比，最后引起天下公愤，其在劫难逃，就在情理之中了。

严嵩父子及其党羽的胡作非为，激起朝中正直官员的愤慨和反对，纷纷上疏揭露他们的罪行。先后上疏的朝中大员和地方官有：谢瑜、叶经、童汉臣、赵锦、壬宗茂、何维柏、厉汝进、沈练、徐学诗、杨继盛、周铁、吴时来等多人。但这些人没有一个有好下场，轻则被贬，重则被杀，其中以沈练和杨继盛的后果最有代表性。

锦衣卫经历沈练，为人刚直，嫉恶如仇，他对严嵩的专权用事，十分痛恨。他于公元1551年上疏，开列了严嵩有纳将帅之贿、揽吏部之权、阴制谏官、妒贤忌能、纵子受财、擅宠害政等十条大罪，要求罢黜以谢天下。结果严嵩以诬陷大臣罪把沈练贬于保安（今陕西志丹县）。到保安后，沈练继续痛骂严嵩，在百姓中历数严嵩的罪行，同时还扎了个草人以代严嵩，让人作为靶子练习射箭。严嵩知道后气得咬牙切齿，发誓报复，就以谋反罪把沈练抓入北京处死，同时还杖杀了沈练的两个儿子。

继沈练之后，兵部员外郎杨继盛也于1 5 5 3年呈上《早诛奸险巧佞贼臣疏》，也列出严嵩十大罪状，言辞较之沈练更激烈，在社会上引起很大的反响。严嵩向嘉靖帝迸言，说杨继盛是变着法儿骂皇帝。嘉靖帝大怒，抓杨继盛下狱，刑杖一百，三年后被处死。杀了沈、杨二人后，不仅未平息人们对严嵩的攻击，反而谴责之声更高，严嵩父子成了众矢之的，日子不好过了。同时，随着时光的流逝，嘉靖帝对严嵩的宠信也日益淡薄。此时的严嵩已是八旬老叟，精力衰退，头昏目花，而嘉靖帝又经常写上一些小纸条要他回答，严嵩答不出，只好找严世蕃，严世蕃正在与女人鬼混，顾不上。嘉靖帝立等回音久不见复，因而对严嵩日见不满，于是各种有关严嵩的谗言诋语就接踵而至。15 62年5月的一天，嘉靖帝问道士蓝道行：“今天下何以不治？”蓝道行立即回答：“只因贤未进，不屑未退之故。”

嘉靖帝道：“谁是不屑？”蓝道行日：“严嵩！”对道士的话，嘉靖帝是深信不疑的，就叹了口气，不做声了。御史邹应龙从太监那里得到消息后，在大臣徐玠的支持下，参了严嵩一本，说他“溺爱恶子，召赂市权，专利无厌，应斩世蕃首悬之于市，以为人臣凶恶不忠之戒”。嘉靖帝乃传下谕旨：罢严嵩官，严世蕃贬雷州半岛。可严世蕃没有到雷州，在半路上就逃回分宜老家继续作恶。于是御史林润再参严世蕃“诣不轨状”，说他不老实，态度恶劣。嘉靖帝遂下诏：严世蕃斩首，严嵩削去官籍，家产查抄。时间是嘉靖四十三年（1 5 64年）。

此时的严嵩又成了片瓦全无的穷光蛋，因没有了官籍，成了老百姓，只得回分宜老家，请人在他祖父的坟墓边搭上个草棚子以安身。两年后，严嵩凄凉地死去，死时八十七岁。

真是：生前聚财无限多，聚到多时全没了。