与此同时，武三思通过依附韦皇后，不仅没有被神龙兵变所连累，相反重登宰相之位，那时狄仁杰已经去世了，朝中一时无人与他分庭抗礼，他小人得志，呼风唤雨的派头令以张柬之为首的五大臣十分反感，数次上疏劝李显抑损其禄位。
“……天后当权时，李氏宗族被诛杀将尽，现有幸赖天地之灵，陛下得以复位，而武氏子弟却仍保有王的封号，身居显要的官职，这不是众人想看到的，望陛下早做决断，抑损其禄位，彰显天子之威。”五大臣言之凿凿，李显却听不进去，对婉儿说这几个老臣分明就是
居功自傲、小题大做，武李两家本就是一体的，打断胳膊连着筋，岂容外人置喙？
见李显不予理会，婉儿本想多说，可碍于她同武三思过去的关系，有些话即便是实情，也不便多言。
李显受韦后母女的影响，对五大臣已生厌恶，他一个人念叨着：“这五人自以为拥戴有功，大权在握，常常独断专行，长此以往，恐对社稷不利，他们还好意思成天弹劾这个、弹劾那个，真是居心叵测！武三思我倒是觉得人不错，有礼有节的，也很有气度，倒是从来没听他说过五大臣的半句坏话……”
