岳飞被秦桧诬陷致死后，岳家的状况变得极为糟糕，家里人四处漂泊，日子过得极为痛苦。奸臣秦桧的恶劣行径，不仅让岳飞的抱负无法实现，还对他的妻子和孩子进行了残忍的迫害。在宋高宗赵构与秦桧的合谋之下，岳家的子孙们遭遇了异常艰难的命运。

在南宋初期，宋金正在打仗的时候，岳飞率领岳家军奋勇抗击敌人，多次把失去的土地夺了回来，受到了百姓和士兵的拥护。可是，赵构和秦桧主张求和，这让岳飞的英勇行为变成了他们的阻碍。最后，岳飞在一堆诬陷和阴谋当中，被冤屈地杀害在了风波亭。

岳飞遭害后，秦桧对其妻儿实施了更为严厉的打压。岳飞的两个儿子岳云、岳霆被处死后，其剩下的家人也都难逃厄运。岳飞的第二任妻子李娃被发配至岭南，日子过得很苦，家族其他成员也都分别被流放，未来一片迷茫。

岳飞的长子岳云跟副将张宪一样，遭关入大牢，历经残酷审讯与严刑拷打后被杀害。岳飞的第二任妻子李娃所生的三个孩子岳霖、岳震、岳霆，也没能够躲开被迫害的厄运。虽说岳霖在南宋时期担任过不少官职，然而在岳飞遇害后，他与母亲以及妹妹被流放到岭南，在艰苦的环境中生活了好些年。

岳飞遭秦桧陷害致死以后，他的家人在岭南过着近乎流放的日子。李娃虽尽力照料孩子们，可那里条件太差，孩子们的基本生活都难以保证。岳雷没等到父亲沉冤得雪就早早去世了，岳霖则为父亲的冤屈不愿为官，一心收集岳飞的遗作和有关史料，以求为父洗清冤屈。岳震和岳霆小时候被流放，长大之后隐居在黄梅杨梅岭，在官场上没什么作为。

对岳飞的妻儿而言，最为痛心的是他们得承受非人的对待。在岭南流放期间，他们不光没了自由，还得按时到官府去报到。这报到是为了查验他们的身份，免得他们擅自离开岭南。可就算生活这般艰难，当地的知州为了向秦桧献殷勤，竟然把米粮供应给取消了，进一步对他们进行压迫，让他们的日子过得极为艰难。

虽说岳飞遭受了诸多不公，但他的后人始终没有停止为他平反的努力。到了南宋后期，岳霖在宋孝宗在位时为官，全力收集父亲的遗作并推动平反之事，使得岳飞的冤情逐渐得以昭雪。在他之后，岳珂接着进行家族未竟的事业，用心整理有关岳飞的事迹和文稿，给后人留下了宝贵的岳飞资料。

到了南宋末年，岳飞总算得以全面平反。在宋宁宗时，岳飞被追封为鄂王，到宋理宗时，又获追谥“忠武”。这一系列举措，不单单是对岳飞忠心的认可，也是南宋朝廷面对金朝威胁时，为鼓舞士气、动员全民抵御外敌而施行的策略。