然而这位英勇的将领并非没有烦恼。他的父亲霍仲孺，霍去病的父亲霍仲孺是平阳县吏，曾在长安侍奉平阳侯时与卫少儿相识相恋，生下了霍去病。不过，霍仲孺后来回到平阳县，娶妻生子，与卫少儿断绝来往，卫少儿独自承担起抚养霍去病的责任。
少年时代的霍去病，他是汉武帝皇后卫子夫的亲外甥，经常出入皇宫，后来逐渐进入到了汉武帝的视线当中。汉武帝看到霍去病不仅善于骑射，而且为人处世极有气魄，做事勇猛果敢，颇有几分大将风采，就想亲自栽培他，想教授他学习吴起和孙子的兵法。
在漠南之战中，霍去病率领八百骑兵深入大漠，追击匈奴数百里，最终斩获匈奴两千余人。河西之战中，霍去病率领一万骑兵，进攻河西地区的匈奴。他采用快速机动的战术，越过焉支山，深入匈奴境内，最终大获全胜，俘获匈奴祭天金人。漠北之战中，霍去病和卫青分别率领五万骑兵，深入漠北寻找匈奴主力。他一路追杀，最终在狼居胥山举行祭天封礼，彻底击败匈奴。
在元狩六年（公元前117年），霍去病因病去世，年仅二十四岁。武帝很悲伤，调遣边境五郡的铁甲军，从长安到茂陵排列成阵，把勇武与扩地两个原则加以合并，武帝赐谥号“景桓”，陪葬茂陵，并仿照祁连山的形状为其修筑坟墓。
汉武帝对霍去病的偏爱和器重体现在多个方面：
例如传授兵法、信任放权、不处理过错、设立大司马职位以及死后给予殊荣等多个方面。当然还有一种复杂的感情，既有对霍去病军事才能的欣赏，也有对霍去病性格和自身影子的喜爱，还有对亲传弟子的偏爱和骄傲。然而，这种喜爱因为霍去病的早逝而变得更加深沉和悲痛。
霍去病的军事才能突出，经常大胜匈奴，为西汉的发展做出了巨大贡献。汉武帝本身对战争有独特的天分，看到霍去病的军事才能，自然会对他青眼相加。漠南之战：公元前123年，汉武帝派遣18岁的霍去病率领八百骑兵深入大漠，追击匈奴数百里，最终斩获匈奴两千余人。这是霍去病的初次亮相，也是汉武帝对他的能力的信任。河西之战：公元前121年，汉武帝任命霍去病为骠骑将军，率领一万骑兵，进攻河西地区的匈奴。霍去病采用快速机动的战术，越过焉支山，深入匈奴境内，最终大获全胜，俘获匈奴祭天金人。这场战役是汉朝对匈奴战争的重要胜利之一，汉武帝对霍去病战术和指挥能力，还有他的胆略和决断力也是非常信任。漠北之战：公元前119年，汉武帝发起漠北之战，命霍去病和卫青分别率领五万骑兵，深入漠北寻找匈奴主力。霍去病在战争中不仅注重战斗胜利，还注重收集和了解匈奴的情况，为战争决策提供了重要的参考。霍去病一路追杀，最终在狼居胥山举行祭天封礼，彻底击败匈奴。这场战役是汉朝对匈奴战争的最大胜利之一，也是汉武帝对霍去病战略眼光和洞察力的信任，这也是他能够多次担任重要职务的原因。汉武帝在漠南之战、河西之战和漠北之战中都信任霍去病，并任命他为主将或重要将领，这些战役的胜利也充分证明了汉武帝对霍去病的信任是正确的。
也许霍去病的性格和汉武帝很相似。相比起卫青的温润如玉，霍去病更像是一团烈火，这样的性格让汉武帝更加欣赏他。汉武帝看到他就仿佛看到了那个年纪意气风发的自己，因此更加宠爱他。霍去病是汉武帝的亲传弟子。汉武帝亲自教授霍去病《孙子兵法》。在两人多年的言传身教之下，战略、战术构想已经在霍去病的脑子里融会贯通了。这让汉武帝对霍去病的偏爱更加深厚，因为霍去病在战场上的胜利，就像是汉武帝自己的胜利一样。
汉武帝力排众议，让一个20多岁的年轻人霍去病独自领导战争，甚至在几场战役中让霍去病先挑选他喜欢的士兵。这种信任和放权，只怕历史上屈指可数。霍去病射杀了李敢，汉武帝并没有因此处理他，汉武帝为霍去病设立了大司马这个职位，使得霍去病的地位和他舅舅卫青一样高。这样的行为无疑体现了汉武帝对霍去病的喜爱和器重。霍去病死后，汉武帝给了他别人没有的荣誉，让他能够跟君王葬在一起，这样的荣誉是何等的荣耀啊。 