卫青和霍去病的相继去世，留下了卫氏家族的年轻一代，他们与汉武帝的儿子同代。汉武帝在此之前一定想过，一旦太子登上王位，卫子夫肯定会是下一个窦太后。这时卫氏家族已经控制了军事力量到时候谁还能控制了他们？未来的天下姓什么都说不准。

此外，他的儿子刘拒也不是一个强悍之人，他如何夺回军事权力呢？他当年就饱受干政之苦，年轻时就登上了王位，但权力却一直掌握在窦太后的手中。窦太厚死后，他的母亲王太后，也要干政。如果他没有使用一些手段，现在估计他不再是宫廷中的皇帝了。因此，汉武帝认为卫氏家族必须清除。后来，刘拒被迫谋反，他借此机会铲除了卫家这棵一直植根于宫廷的大树。这时，卫子夫已经老了，汉武帝已经十多年没有宠爱过她了。

她作为女王的地位有些不稳定，她的儿子刘拒的地位也开始动摇。汉武帝已经到了暮年，他也害怕死亡，现在只有权力能让他感觉到一点安全感。当时，刘拒受人蛊惑，汉武帝既愤怒又害怕。他派兵围剿谋反的刘拒，最终，刘拒战败自杀了。卫子夫深感悲痛，从而一蹶不振，卫氏家族也失去了最后的支持者。汉武帝借此机会彻底消灭了卫氏的势力。卫青的儿子被降级为平民，还有无数其他人被牵连。从那时起，曾经著名的卫氏不再存在。

作为一个统一的皇帝，汉武帝在其统治期间一个接一个地击败了强大的敌人，在这个非常难以巩固的位置上，他是不可能允许其他人侵占他的权力。卫家太显赫了，对汉武帝来说，卫家就像肉中刺，总是提醒自己要挑出来。汉武帝已经当了几十年皇帝，他完全迷恋权力的味道。只要他在任一天，即使是他自己的儿子，他也不允许挑战他的权威。