徐阶隐忍的态度，使严嵩慢慢地放松了警惕。徐阶青词写得非常好，于是在不上朝的时候，嘉靖皇帝就会经常召他进宫和他单独谈话。而徐阶就利用这个机会，经常不露痕迹地说严嵩的不是，时间久了，嘉靖皇帝不但不再宠信严嵩，反而多了一些厌恶。为了让严嵩彻底放松警惕，徐阶把自己的孙女嫁给严嵩的孙子，以联姻的方式增进两人之间的交情。而这个时期，一些反对严嵩的人也开始弹劾他，但是都被严嵩父子压了下来，其中很多人都惨遭迫害。
在这时的朝廷中，不仅严嵩一手遮天，他的儿子严世蕃也开始卖弄财权。这时的严嵩已经年近七旬，却仍然要日夜侍奉在嘉靖皇帝身边，他逐渐感到力不从心，所以他将大部分事宜都交给了这个荒淫无耻的儿子，甚至私底下将全部的奏折交给儿子批复，然后才交给皇帝核查。而严世蕃比自己的父亲更会讨好嘉靖皇帝，因此嘉靖皇帝多次奖赏他。严世蕃得到嘉靖皇帝的赞赏后，严嵩更是大胆地把全部政务交给他。严世蕃的贪婪比严嵩更甚，严世蕃借着自己的权力，在选拔官员时不看能力和口碑，只注重官员的贿赂数额。同时，严世蕃还借用权力大肆搜刮民财，一时家里的财产竟可敌国。有记载说，有一天，严世蕃和妻子商量将所有的金银财产全部藏在地窖中，而这时严世蕃突然想起这些财产都是仰仗父亲严嵩才得来的，所以严世蕃就请严嵩前来观赏。严嵩看到这些财产后，顿时目瞪口呆，隐隐约约地感到家里将要出大祸。