如果霍光那点实力也能复制司马懿的成功，那家天下制度早就在中国历史上消失了。
如果霍光那点实力也能复制司马懿的成功，那吕氏就可以取代刘氏了，吕氏的势力鼎盛时期比霍光有过之而无不及，汉高祖与诸臣议定“非刘不王、无功不侯”[注]，保障刘氏皇族和开国功臣的利益，但是汉高祖去世后，这个协议立刻就成了废纸一张，吕氏子弟直接分王，但是吕后去世后，吕氏的末日立刻就到来了。
[注]:窦太后曰：“皇后兄王信可侯也。”景帝让曰：“始南皮、章武侯先帝不侯，及臣即位乃侯之。信未得封也。”窦太后曰：“人主各以时行耳。自窦长君在时，竟不得侯，死后乃其子彭祖顾得侯。吾甚恨之。帝趣侯信也！”景帝曰：“请得与丞相议之。”丞相议之，亚夫曰：“高皇帝曰「非刘氏不得王，非有功不得侯。不如约，天下共击之。」今信虽皇后兄，无功，侯之，非约也。”景帝默然而止。《史记.绛侯周勃世家》
东汉的很多外戚都曾经达到了霍光的成就，可是东汉的外戚谁也没能连续经营两代。
汉朝的历史脉络是非常清晰的，在汉朝的历史舞台上，无论是西汉还是东汉，外戚（太后、皇后）一直是最重要的政治力量之一。
霍光本身也是靠外戚发家的。霍光是霍去病的异母弟弟，霍去病是皇后卫子夫的外甥。也就是霍光之所以能在政坛发迹，主要政治资本就是，他是卫氏外戚集团的一员。
在卫氏外戚之前，西汉历史舞台上有过吕氏外戚、薄氏外戚、窦氏外戚（含馆陶长公主势力）、王氏外戚（含田氏势力），但他们谁也没能长久的停留在政治舞台中心，当他们在宫廷内的代表太后、皇后去世或被废后，他们的家族就离开了政治舞台中心，而新的外戚势力再上场，周而复始。
汉朝的政治格局是在汉高祖时代奠定的，汉高祖时代的政治格局是非常清晰的，外戚、功臣、诸王三足鼎立，这样哪一支势力也无法一家独大。
汉高祖曾经试图变更过这一布局，以惨败告终。汉高祖曾经试图立赵王如意为太子，但是赵王如意的母家没有势力，与吕氏无法相比，如果如汉高祖所愿，让赵王如意当上了太子，首先吕氏外戚肯定会被清理出政治舞台，吕后的皇后位也不保，那么中央朝堂上只剩下了功臣集团这一支势力独大，对新皇帝的威胁太大了，基于政治上的平衡原理，汉高祖肯定会对功臣集团开刀，并且设立新的政治势力与被削弱后的功臣集团互相制衡。这样一来，吕氏外戚和功臣集团利益都受到了威胁，于是这两支势力联合起来反对汉高祖的易储想法。面对这样强大的反对力量，汉高祖最终不敢坚持立如意为太子的想法了。
这样的布局后面就被继承了下来，当吕氏外戚被消灭后，汉文帝登基后又开始扶植自己的母亲薄太后的家族和妻族窦后家族，汉文帝开启的这种皇帝的母族和妻族并重、互相制衡的模式，后面被继承了下来。汉景帝登基后，薄太后一去世，就废黜了薄后，立了王氏为皇后，将祖母薄太后家族的势力清理出政治舞台中心。汉武帝后面也继承了这种做法，窦太后一去世，就开始了废黜陈后的行动，立卫子夫为皇后。
从汉景帝、汉武帝两代皇帝的做法就可以看出，皇帝绝对不会让任何一支外戚家族持续在政治舞台中心发挥影响力。
而皇帝打击外戚势力时借力是非常大的。
在霍光掌权的时代，汉帝国的政治势力中，有开国功臣势力、地方上庞大的刘氏诸王势力以及围绕着刘氏诸王的各种姻亲家族，以前的各代外戚势力、还有在地方上有一定影响力但是尚未进入中央政坛的家族。刘氏诸王势力有多大，只要从西汉末年王莽篡位后，刘氏代表络绎不绝的出场就知道了。
在这么多的围绕着刘氏皇族的盘根错节的利益集团中，霍光在世时，只能勉强位列人臣的第一把交椅，一旦霍光去世后，霍氏家族还想着继续垄断中央朝堂，汉宣帝随便从哪里都能找到借力，因为霍氏家族被清除，会让出帝国第一排的权力交椅，无数家族愿意与汉宣帝合作，消灭霍氏，瓜分霍氏家族之前占据的军政资源，来成就自己家族的富贵。
这样的情况下，霍家拿什么资本与汉宣帝对抗呢？权臣分两种，一种是依附皇权的权臣，一种是可以挟天子以令诸候的权臣。大多数权臣是前一种，只有依靠皇帝的信任才能权倾朝野。一旦圣眷不在，灭族都只是一纸诏书的事。如李林甫、严嵩、张居正、魏忠贤等人。挟天子以令诸候的权臣大多数（或者其后代）后来都篡位了。因为皇帝和这类权臣的关系可以说是处于囚徒困境之中，很难长期维持稳定。这类权臣有曹操、高欢、宇文泰、刘裕、杨坚等人。有实力却没有篡位的权臣当然也有，如诸葛亮、王敦、桓温。其中只有诸葛武候可以说是从来没有过不臣的念头，王敦、桓温离篡位实际上也只有一步之遥了。
霍光从来没有拥有过后一种权臣的实力。在平定了上官桀、桑弘羊谋逆事件后，他有机会逐步达到这个地位，但是他没有往这个方向发展。在昭帝死后，霍光拥立的两个皇帝都是长君，而不是拥立一个年幼的皇帝，好让自己长期执掌朝政。他虽然治家不力，但总的来看，他执掌朝政时还是做了用法公允、任用贤材、不植私党。
霍光和群臣所上的废除昌邑王的奏折中，列名的群臣有：【丞相臣敞、大司马大将军臣光、车骑将军臣安世、度辽将军臣明友、前将军臣增、后将军臣充国、御史大夫臣谊、宜春侯臣谭、当涂侯臣圣、随桃侯臣昌乐、杜侯臣屠耆堂、太仆臣延年，太常臣昌、大司农臣延年、宗正臣德、少府臣乐成、廷尉臣光，执金吾臣延寿、大鸿胪臣贤、左冯翊臣广明、右扶风臣德、长信少府臣嘉、典属国臣武、京辅都尉臣广汉、司隶校尉臣辟兵、诸吏文学光禄大夫臣迁、臣畸、臣吉、臣赐、臣管、臣胜、臣梁、臣长幸、臣夏侯胜、太中大夫臣德、臣卬《汉书.霍光传》】
这些人可以说都是当时朝廷的重臣，当中有不少是霍光提拔的，但除了度辽将军范明友是霍光的女婿，后来卷入了霍氏谋反一案外，其他大臣很少有牵连进霍氏逆案的。车骑将军张安世在霍光死后继任大将军，是宣帝一直信赖的重臣。前将军韩增、后将军赵充国也继续领兵。大司农田延年，在商议废立的朝会上首先跳出来公开支持霍光，可以说是霍光的铁杆心腹。但田延年后来涉嫌贪赃，在霍光表态要彻查之后被迫自杀了。霍光真要想扶植私党，就不会自剪羽翼。【丞相议奏延年“主守盗三千万，不道”。霍将军召问延年，欲为道地，延年抵曰：“本出将军之门，蒙此爵位，无有是事。”光曰：“即无事，当穷竟。”御史大夫田广明谓太仆杜延年：“《春秋》之义，以功覆过。当废昌邑王时，非田子宾之言大事不成。今县官出三千万自乞之何哉？愿以愚言白大将军。”延年言之大将军，大将军曰：“诚然，实勇士也！当发大议时，震动朝廷。”光因举手自抚心曰：“使我至今病悸！谢田大夫晓大司农，通往就狱，得公议之。”田大夫使人语延年，延年曰：“幸县官宽我耳，何面目入牢狱，使众人指笑我，卒徒唾吾背乎！”即闭阁独居齐舍，偏袒持刀东西步。数日，使者召延年诣廷尉。闻鼓声，自刎死，国除。《汉书.田延年传》】
宣帝朝的名相魏相，宣帝即位后不久在河南太守任上被征为大司农。魏相曾因处事不慎受过霍光的斥责，一度还被下狱。当时宣帝还没有亲政，这个重要任命显然是需要霍光拍板的。霍光并没有因为以前的芥蒂而对魏相有偏见，说明他用人还是出于公心。霍光死后，魏相已经当上御史大夫，就是他首先向宣帝进言要限制霍家的势力。
由于在执掌大权期间霍光并没有有意识地培植只忠于自己的政治势力，在君臣名份已定，宣帝逐渐掌握朝政后，可以说即使霍光在世，霍家也很难再和皇权抗衡。
