御史台数度发起攻击：“安义伯，你说你没有叛逆之心！好啊，那等我问问你，你的姻亲，也就是你儿子裴峰娶了礼部侍郎何其正的妹妹何秀英，何其正之女何暖香又参与到学子五石散的案件之中，而何其正的姐姐何秀敏又是倪家的人，倪家独子倪安庆恰好是学子之一，为何暖香贩卖五石散提供了便利。根据三司调查，倪安庆看得出来只是被蒙蔽其中，我三司也不是不讲道理的，但是何暖香背后的何家为何要供应五十散？裴家又为何煽动学子打倒圣女，四处造谣，还收容夷东郡王那里的流寇作乱？”
吏部尚书为六部之首，也道：“表面上看是圣女引起的，实际上是为了乱我朝廷根本，纲纪一乱，律法糊涂，陛下清名受损，便可有人趁机作祟。陛下，防民之口甚于防川，如今正是有人利用口舌之争，将战火蔓延到朝廷，圣女固然可怜，陛下更是危险。”
“中书令，中书令你说句话啊！”安义伯向顾啸林求救。
中书令默了默道：“陛下，此事臣以为不简单，看起来，好像都是何家的姻亲，但是要说何家敢谋反，委实有些无缘无故，他们也没这个本事。为了藩王，藩王远水解不了近火。也没有何家私通藩王的证据。倒是安义伯该确实该接受惩罚，教训。可臣更想知道，谁在背后指使，把安义伯，何家，倪家，还有夷东郡王都纠结到一起的，那才是事情的关窍。揪出源头，灭掉根本，才能稳住朝纲，海清河晏。”
群臣皆附和：“中书令此言有理。”
“臣附议。”
中书令这番话其实是各大五十大板，谁都没有钉死，但同时也告诉众人，这些涉事的，都该有个罪名，得自己担着。
安义伯哭诉道：“臣真的悔不当初，陛下年初送了臣一块农地，臣没有人手打理，接到郡王的来信，说是送给臣一帮家奴替臣打理，臣喜不自胜，没有多想，便接收了。那几块农地确实也都耕的不错，不信陛下可以派人检阅，臣句句属实。臣哪里想到那些是江洋大盗啊！还在京中打着臣的名号胡作非为呢？”安义伯哭出了鼻涕，“臣知道错了，臣罪该万死啊！”
本来裴湘蕴和何暖香一起到了倪家看笑话，回家就对母亲说：“娘，姨母家的那堆烂事，难怪你说活该，可不就是活该吗。姨母让我去给她助阵，结果后院起火，烧着了自己，连我一起丢脸。”
何秀英不屑道：“所以你现在知道娘为什么跟你大姨母少来往......当初你外祖母可不赞成这桩婚事，可她一哭二闹三上吊，吵着要倒贴给姓倪的，你外祖母也没有办法。你看你爹，就是你外祖母替我选的，多称心。”
安义伯没有小妾，没有外室，世人都知道他怕家里的母老虎，裴湘蕴很是得意。
等到了何暖香出事，何暖香第一个想到的就是她，柳姨娘带着礼物亲自登门，陪着笑脸对安义伯府的管事婆子道：“湘姑娘可是我打小看到大的，如今芳华正茂，越长越水灵，许久不见，老太太也怪想她的，我是替老太太来看看她。”
谁知被被晾在客厅一个多时辰，都没见着人。
因为何秀英和裴湘蕴都躲起来不肯见，裴湘蕴更是恨道：“该死的何暖香，小娘养的就是小娘养的，出了事还带上我，我凭什么替她说话。还一口一个湘姑娘，我呸，当初爹给我取名湘蕴，可是找了先生算过的，我是贵人命，她效仿我，叫暖香，外祖母一口一个香儿，香儿......倒把我的名字抢了去，还好意思说！”
最后柳氏只得打道回府，走之前，对管事婆子道：“转告你们夫人一句，我不过是个姨娘，确实不招人待见，但是家大业大的门楣，都是一荣俱荣，一损俱损，这是老太太的原话，眼下我的话也带到了，呵，希望她听了能明白。”
回去之后，柳氏朝何其正哭诉裴府的冷遇，何暖香知道裴湘蕴见死不救，再加上平时又和自己往来颇多，故作姐妹情深的样子，心里一直记恨。
知道安义伯出事，何暖香对何其正道：“父亲，若是朝中出事，特别是涉及到姑家安义伯府的，也别想着什么同气连枝了，要学壁虎，断尾求生。毕竟父亲也不想去惠州当个闲差吧？”
何其正自然懂得，他不能给安义伯以后继续对他们家颐指气使的机会，当即在朝堂上出首道：“臣有罪，臣教女无方，致使她被人胁迫，制造五石散，不过她并非为了牟利，诸位大人和老师，三司的同僚们可以去检验，小女的五石散可是大大减了剂量的，她已经在能做的范围内尽可能地保持良善，但架不住贺兰柔漪和吴昭仪有私交，安义伯又受到吴昭仪地照拂。”
“你胡说！血口喷人！”安义伯愤怒，“我何曾受到过吴昭仪地照拂，我需要吗？”
“需不需要，安义伯，您回去问问您女儿就知道了。”何其正撩了袍子跪下，“启奏陛下，臣做错事，自当领罚。小女无知，以至被奸人利用，臣为弥补受到伤害地民众，已将手上所有的东西变现，同时捐赠太学，供朝廷栽培人才，臣也会在期限内去惠州上任。臣服从陛下的任何安排。不求陛下开恩，都是臣罪有应得，只是陛下，首恶为吴昭仪，还望彻查。”
皇帝又不傻。
吴昭仪作为整垮我的既得利益者，人在深宫，听不见外面的飞短流长，懒得理会群臣的长篇大论，但是皇帝不可能不管，特别是都到了煽动人心，玩弄舆论，牵动时事的地步，肯定是要处理的。
问题是怎么处理。
反正不管怎么样，倪家，何家，贺兰家，都罚了。只剩下安义伯，安义伯迷迷糊糊，皇帝认为他不知悔改，当即下令削掉爵位。
犹如一道晴天霹雳，安义伯瘫倒在地。
从此以后，他们家就只能靠田租生活了。