宗宪在生活上确实奢侈，在清流口中有绘声绘色的许多段子，可以佐证这一点……据说有一次，胡宗宪宴请织造太监黄锦和新到任的地方官员李子元等人，居然用两百名侍女陪饮。到了散席的时候，黄锦拿出五两金子表示感谢，胡宗宪冷笑一下，不予理睬。李子元仅拿出一两金子，被胡宗宪当场扔到了水里，一脸不高兴道：‘您这是在羞辱我吧！’
而且王本固亲眼所见，胡宗宪迎春宴客，张灯结彩，绵延数里。鼓乐之声震天，侍女跪地迎送客人，极尽奢华之能事，乃藩王诸侯之家所不及。
还有更神、更符合大众庸俗口味的，据说又一次，严嵩的孙子严鹄回乡上坟路过杭州，胡宗宪当然要大肆铺张，盛情款待了，还找来了几名江南名记为其侍寝。严鹄当时新婚燕尔，新娶的徐阶孙女还同行呢，自然推辞不就，胡宗宪却道：‘你这是为难我吗？那我就先行了。’竟然左拥右抱先去睡了，直到第二天天亮才回去。
这些传言都有名有姓、有鼻子有眼，由不得朝臣们不信。而以胡宗宪微薄的俸银，怎可能维持如此奢糜的生活？所以对他‘贪污’的指控，无人能予以反驳。
于是乎，那些原本支持胡宗宪的官员，只好跟这个‘贪污犯’划清界限，一时间形势一边倒，舆论对胡宗宪极为不利。
即使胡宗宪本人，也因为担心引火烧身，真的被查办了，而不得不偃旗息鼓，不再据理力争。
至于严家父子的态度，是一直会支持胡宗宪的，他们父子心知肚明，如果不是胡宗宪在东南沿海不可或缺，他们父子能不能挺过前一段时间的雷霆之怒，还真的很难讲，所以自然会不遗余力支持的，但眼下胡宗宪本人的态度都不那么坚决了。那在严世蕃看来，这就说明王直之事虽还未有明论，但结果已经注定了。既然如此，他当然不惮于利用一下此事！
他不是不想亲自动手，实在是最近在皇帝那里的印象极差，若是在皇帝眼皮子底下亲自下手难免适得其反，所以不干不得借刀杀人，让那些傻缺的主动跳起来，替他把沈默打倒在地，等着那小子被撵出京城，然后再一下下敲打他，直到剥皮吸髓，方能解恨！
事态的发展十分顺利，那弹劾沈默勾结倭寇的奏章一上，在那些清流中便流行起这样一个观点‘如果放过沈默，便意味着勾结倭寇没有错，那被关在杭州的王直也该释放了。’那就等于胡宗宪赢了王本固，而这是王本固和他的同党，无论如何都不能接受的。
所以王本固一党，不但上书支持查办沈默，重新逮捕徐
…。。