汉宣帝的这一系列升官加爵的行为，让霍氏家族主要是霍光的老婆霍显产生了一个幻觉：即使是皇帝也要怕我们霍家三分。这也是导致后来霍家悲剧的最重要原因。《汉书·霍光传》中介绍霍光的老婆时，只提到了她的名字叫“显”，并没有提她的姓，因此也可以叫她霍显。
而霍显与汉宣帝之间的矛盾与隔阂，其实可以追溯到汉宣帝继位之初。汉宣帝即位后，各个大臣都极力推荐立霍光之女霍成君为皇后，可是这时候，汉宣帝却下了一道莫名其妙的诏书——“上乃召求微时故剑”，意思是我在贫微之时曾经有一把旧剑，现在我十分想念它啊，众位爱卿能否为我将其找回来。群臣揣摩上意，开始一个个请立宣帝的发妻许平君为皇后。于是汉宣帝将许平君接进宫，封为皇后。这是中国历史上一道最浪漫的诏书，故剑情深的浪漫典故从此开始流传。
在立许平君为后这件事情上，当时的霍光并没有太多深思，但是他妻子霍显却一直耿耿于怀，认为许平君只是一个狱卒家的女儿，而她的女儿霍成君却贵为千金，汉宣帝一定是跟霍家过不去才故意这样做的。想当年外孙女上官氏六岁进宫，成为汉昭帝的皇后，到汉宣帝这朝已经升级为太皇太后，而自己的女儿却被皇帝拒绝，霍显怎么也没法说服自己，于是她一直在寻找机会。