汉宣帝的这一系列升官加爵的行为,让霍氏家族主要是霍光的老婆霍显产生了一个幻觉:即使是皇帝也要怕我们霍家三分。这也是导致后来霍家悲剧的最重要原因。《汉书·霍光传》中介绍霍光的老婆时,只提到了她的名字叫“显”,并没有提她的姓,因此也可以叫她霍显。
而霍显与汉宣帝之间的矛盾与隔阂,其实可以追溯到汉宣帝继位之初。汉宣帝即位后,各个大臣都极力推荐立霍光之女霍成君为皇后,可是这时候,汉宣帝却下了一道莫名其妙的诏书——“上乃召求微时故剑”,意思是我在贫微之时曾经有一把旧剑,现在我十分想念它啊,众位爱卿能否为我将其找回来。群臣揣摩上意,开始一个个请立宣帝的发妻许平君为皇后。于是汉宣帝将许平君接进宫,封为皇后。这是中国历史上一道最浪漫的诏书,故剑情深的浪漫典故从此开始流传。
在立许平君为后这件事情上,当时的霍光并没有太多深思,但是他妻子霍显却一直耿耿于怀,认为许平君只是一个狱卒家的女儿,而她的女儿霍成君却贵为千金,汉宣帝一定是跟霍家过不去才故意这样做的。想当年外孙女上官氏六岁进宫,成为汉昭帝的皇后,到汉宣帝这朝已经升级为太皇太后,而自己的女儿却被皇帝拒绝,霍显怎么也没法说服自己,于是她一直在寻找机会。