公元前71年，许皇后在生下刘奭（shì）之后再次怀孕，霍显串通皇家女医生淳于衍，趁许皇后产后身体虚弱给她下毒。于是苦尽甘来的许平君当了三年的皇后，就被阴谋夺去了生命。几年之后，汉宣帝册封许平君所生的儿子刘奭为皇太子，就是后来让王昭君去匈奴搞外交的汉元帝。霍显知道这个消息后暴跳如雷，自己家的女儿好不容易当上了皇后，却封别人的儿子为太子，就去找她的女儿，让霍成君给刘奭下毒。可是刘奭的几个贴身侍卫非常负责任，凡是皇后霍成君给的东西一律不吃，霍成君没有能得手，刘奭才保住一条小命，汉宣帝暂时把这些账都记着。
霍光去世后，霍显嫌给他的坟墓不够大，就私自扩大坟墓的规模。除此之外，霍显还大肆修造宅第，出门则乘坐华丽的舆辇，令奴婢用五彩仪仗服侍她，更过分的是霍显不甘寂寞与外人私通。霍禹、霍山等人也是广置家宅，整天花天酒地。霍云经常请病假不上朝谒见皇帝，不拜见就算了，他还派一名家奴替他上朝。霍氏家族中的女眷则可以自由出入长信宫中……此时的霍显风光无限，外孙女是太皇太后，女儿是皇后，女婿是皇帝，长乐宫这块禁地简直是她霍家的后花园。
此时，宣帝开始亲理朝政。他首先任命御史大夫魏相为给事中，调整了霍氏亲信的职位，暗中削夺了他们的实权。汉宣帝给了霍禹一个荣誉性的大司马，却收了他右将军的兵权；对于霍光女婿范明友，只让他干光禄勋，却收了他度辽将军的印信；霍光第二个女婿赵平的骑都尉的兵权也给收了。总之，凡是以前被霍家把持的军权全都交给许皇后还有他外婆史家的亲信掌握。