霍光死后，他的儿子霍禹和他哥哥的孙子霍山继承了霍光的辅政位置。可这两个膏粱子弟却无法继承霍光的政治手腕和个人威望，霍家权势显赫也不能制服众心，终于使从前毒杀许皇后的事情东窗事发。在铤而走险起兵谋反不成后，霍氏一族尽被汉宣帝诛杀。
东窗事发
霍光虽死，余威尚在，依靠他在宣帝选立中的定策之功和生前留下的盘根错节的家族势力，他的儿子霍禹及其兄之孙霍山继续被宣帝委任辅政。这两人都是公子哥儿，擅长的是吃喝玩乐、斗鸡走狗，政治手腕则非常平庸。失去了霍光的庇护并没使他们忧虑，他们继续骄奢放纵，甚至在朝请之时私自出宫打猎，让家奴代为朝请。朝野上下怨声日积，从前受到霍光权威强行压制甚至打击的各种势力，都开始蠢蠢欲动，告发霍家不法情事的奏章也不断递向未央宫中，其中最严重的是揭发霍家当年毒杀宣帝皇后许平君的事情。
许平君是宣帝在民间时的妻子，两人共历艰辛，感情很深。宣帝即位后，有意立许平君为皇后，这时霍光却送女儿霍成君入宫为妃，群臣趋炎附势，纷纷建议选立霍成君为皇后。宣帝不答应，下诏寻找当年在民间时使用过的剑，以此表示不忘旧情的决心，“故剑情深”的典故就是这么来的。在宣帝的坚持下，许平君被立为皇后，这让霍家人对许平君无比嫉恨。没过多久，霍光的夫人霍显授意宫廷女医淳于衍下毒将许平君毒死。许皇后死状的蹊跷引起了官吏的怀疑，淳于衍也因此被捕下狱，严刑拷问。霍显惊慌失措之下，只好向霍光求助。
霍光此前还不知道淳于衍投毒是自己夫人指使，听说之后大惊失色，于是下令执法部门停止追究，强行将这件事情摁了下来。
失去霍光羽翼庇护的霍氏已经无法令行禁止，霍山、霍禹只能借助霍光留下的奏章先交辅政大臣拆阅的制度，把告发霍家的奏章全都扣留下来，不让宣帝看到，但这时的局势已经非他们所能控制的了。
不久后，御史大夫魏相通过许平君的哥哥许伯传递奏章，辗转避开霍山、霍禹的阻挠而上书宣帝，陈述霍光两朝辅政、专断朝政的种种恶行。同时奏章中还提到了霍山、霍禹骄奢放纵，一家大小把持禁军兵权，居心难测，将会危害社稷安全的情况。魏相请宣帝逐步削夺霍氏权力，又建议以后绝密奏章都用布囊封起来，直接由中书取出交给皇帝阅览，辅政大臣不得先行拆阅。宣帝采纳了他的意见，从此上书告发霍家的密奏日益增多，霍家毒杀许皇后的往事也渐渐传到了宣帝的耳朵里。当年的悬案终于有了定论，宣帝暗暗下定了削除霍氏的决心。
谋反不遂
宣帝先逐步将霍氏家族中掌握禁军兵权的，如霍光的女婿范明友、邓广汉等一一外放，改用许家外戚子弟担任，同时又给魏相加官给事中，让他在宫中供职，两人日夜商量，谋划如何进一步削夺霍氏权势。霍氏听说后上下忧惧，不知该怎么办。
也许是做贼心虚吧，这时霍显夜里梦见霍光对自己说：“你知道儿子们快被逮捕了吗？”霍禹也梦见车马喧哗，前来逮捕自己。举家忧愁之下，霍山、霍禹终于决定铤而走险，联络霍氏子弟和霍光的几个女婿，以置酒设宴的名义邀请魏相和许伯，然后在席间将他们就地处死，再起兵谋反，诛杀宣帝。
可这时的霍氏子弟手中兵权已被削除殆尽，要想反戈一击，谈何容易。不久后，霍氏的计划败露，宣帝派出禁军逮捕霍显，霍禹、霍山、范明友等人畏罪自杀，霍显、霍云（霍山兄）、邓广汉等人则被逮捕下狱。地节四年（前66）十月，霍显等人被腰斩于长安市中，霍家族灭。这时距离霍光的死才过了3年。皇后霍成君同时被废，几年后自杀。
