当霍氏家族走下坡路的时候，霍云先生的舅父李竟先生，有一个朋友，名叫张赦。此公向李竟先生秘密建议曰：“现在宰相魏相先生，跟平恩侯许广汉先生，大权在握，恐怕终有一天会罩到霍家头上。但你们仍有一条生路，那就是，请霍显老奶出面，说服她外孙女上官太后，由上官太后下令，先把魏相、许广汉干掉，然后一做、二不休，再把刘询先生驱下宝座，另换上一个皇帝，才是釜底抽薪的上策。”问题是，当霍氏家族掌握兵权的时候，这主意是好主意，因为它有成功的可能性。如今，兵权既去，等于丢了刀子再去打老虎，这主意便是馊主意，而且是可怕的馊主意矣。尤其糟的是，这种可怕的馊主意，却不能保密，竟被霍家的马夫听了去。恰巧长安的一个小市民张章先生，跟马夫是朋友，前来投靠马夫，马夫好心肠，留他在宿舍住下。落魄的人心神不宁，一时难以入梦，马夫们却以为他睡啦，对这件事窃窃私语兼纷纷议论。张章先生—一听到耳朵里，暗喜日：“富贵荣华，在此一举。”第二天，他就写了一份检举函，向皇帝直接告密。前已言之，从前任何奏章，都要经过“领尚书事”（皇宫机要秘书长）一关，现在则不再经过啦，所以，这份检举函直接就送到刘询先生那里。司法部（廷尉）立即采取行动，把李竟先生捉住，并下令首都卫戍司令官（执金吾），逮捕闻风逃走的张赦先生。

可是，稍后不久，刘询先生吩咐不再追究，并且把李竟先生释放。罢黜皇帝，是一个非同小可，足以引起千万人头落地的阴谋，忽然稀松平常地消灭于无形，反而使霍氏家族更为恐慌。他们了解，是因为事情牵连到当太皇太后的上官女士，只不过暂时地按兵不动，暴风雨仍在酝酿。偏偏李竟先生在司法部（廷尉）留下不利于霍家的口供——这应该在意料之中。于是，刘询先生认为，机要秘书长霍山先生，首都卫戍部队副司令官霍云先生，已不适合继续担任高级官员，勒令他们退休，但仍保持他们的侯爵。至此，霍氏家族中，除了霍禹先生仍当一