“大将军临终前确实也断断续续，说过类似的话，要吾等请辞宿卫之职，交出兵权，只是还未还得及做就薨了。”
霍山比霍禹要聪明些，他常听霍光称赞杜延年，遂将被霍禹揉成一团的信交给霍家真正当家人，霍夫人显手中，想听听长辈的意见。
“病情如山倒。”霍夫人却浑不在意，说道：“这是大将军临终前糊涂了，勿听！”
“母亲说得对，那是大人糊涂了。”
霍禹倒是很乐观，笑道：“我霍氏正如日中天，哪来的祸？杜延年也老迈了，难不成吾等还要自己让位，将宿卫等事让给任弘、杨恽、张敞、戴长乐、张彭祖、王奉光、史高等人不成？”
一般继嗣者皆有潜邸，刘询的潜邸故臣无非是他民间时交往的朋友，以及亲戚史家。
“你确是忘了，还有一人。”
霍夫人显自诩聪明，笑道：“杜延年有私心啊，他所谓的天子故旧，恐怕就包括其子杜佗吧。与张彭祖一样，杜佗与天子乃少时故交。这小杜与其父老杜一样，为了自家的富贵，就不顾旧主了，用心险恶啊。”
言罢又教训霍禹、霍山和霍云“汝曹不务奉大将军余业，非但那任弘成了中二千石，兼给事中，有入宫面见天子密谈之权，如今连杜延年都有了异心，一旦有人在中间挑拨我家与天子关系，汝能复自救邪？都各自将手里的职权看紧些。”
三人应诺而退，只是霍禹留下来，又多嘴问了一句他那有孕数月的两位妾室如何了？霍显没好气地说道：“小产了，母子皆亡。”然后就将霍禹赶了出去。
而在无人时霍夫人显又喃喃自语道：“生男不如生女好，看来霍氏要世代富贵，还是得靠成君啊”
在霍显看来，短期内决不能让出未央宿卫，还有一个原因，她得保证有孕的女儿顺利生产，绝不容有失。
霍家男人还好，女人们却已经将长乐、未央都当成了自己家，夫人显及诸女皆通籍长信宫，或夜诏门出入，从宫里召一二人出来也是寻常事。
这一夜，霍夫人便将那位让许平君顺利产子，如今跟在皇后霍成君身边的带下医淳于衍再度唤至府上，亲自设小宴招待，又笑着让女婢取出一些锦绣出来。
“少夫，你可知陈宝光妻？”
淳于衍忙道：“听说是钜鹿的织绫艺人。”
霍夫人显颔首：“绫出钜鹿陈宝光家，宝光妻传其法，我召入其府邸，使作之。机用一百二十蹑，六十日成一匹，匹值万钱。”
三公列侯家里开销大，光靠俸禄和邑户不够，所以都会搞点副业，比如富平侯张安世家有七百奴仆的织室，西安侯家的香料、茶叶生意，霍夫人显持家有道，也“请”了天下闻名的织工来家里，强令其授奴婢们织术。