他出生在一个传奇性的家庭。他是平阳公主府的女奴卫少儿与平阳县小吏霍仲孺的儿子，这位小吏不敢承认自己跟公主的女奴私通，于是霍去病只能以私生子的身份降世。

父亲不敢承认的私生子、母亲又是个女奴，看起来霍去病是永无出头之日的，然而奇迹终于降临在他身上。

大约在霍去病刚满周岁的时候，他的母亲是卫少儿,他的姨母卫子夫进入了汉武帝的后宫，并且很快被封为夫人，仅次于皇后。

霍去病的舅舅卫长君、卫青也随即晋为侍中。卫氏家族从此改变了命运

卫少儿凭着妹妹卫子夫和弟弟卫青的关系，自然可以自由出入皇宫。

有一次，卫少儿抱着不满一岁的儿子进宫去探望妹妹子夫，这时宫内异常肃静，人们互相说话打招呼都悄声细气，蹑手蹑脚，生怕惊动了皇帝。卫少儿抱着孩子进宫，快到皇帝和子夫的寝宫时，孩子突然大哭起来，声音如雷贯耳，被皇帝听到了，卫少儿都吓得快昏过去了，等候这位皇帝妹夫发落自己。

此时，武帝正躺在床上，经受着重感冒带来的病痛和苦恼，突然间听到震耳惊魂的孩儿哭声，竟把他吓出一身冷汗，顿觉身体轻松舒畅起来，病也好了。他一抬眼，看到卫少儿跪在床前，等候降罪，武帝就让她起来，并叫她将孩子抱给他。圣上抱过婴孩，龙颜大悦，不停地逗着孩子，此时，这小家伙眉开眼笑，武帝越发喜爱，随问卫少儿：“这孩子叫什么名字?”卫少儿说：“还没有起下名字呢。”武帝眯起眼睛想了会儿说：“寡人近几天来身体欠安，得了伤风感冒，不料这孩子几声大哭，惊得我一身冷汗，这病居然去除。因此，朕赐名这孩子叫‘去病’怎样?霍，霍然迅捷，去病，除去病根。”

卫少儿叩头谢恩。霍去病，从此大名飞扬。