1129年，金军攻克建康，宋军防线全线崩溃，主帅杜充等人更是只顾逃命，坐视金军南下。当时身处前线的岳飞主动“逆流而上”，独自募兵，并收拢溃逃的宋军残部，深入金军后方，以游击的方式转战各地，取得了六战六捷的大胜。

岳飞所部成分复杂，多是民兵和逃兵，战斗力不强。但在岳飞的统帅下，这支部队不仅逢战必胜，且遵守“冻死不拆屋，饿死不打掳”的军令，在百姓之中威望很高。久而久之，这支特殊的敌后游击部队也有一个广为人知的名字“岳家军”。

1130年，韩世忠率部围困金军主力于黄天荡。岳飞果断抓住战机，率领岳家军收复建业，取得岳家军首次大捷。

不过虽然战绩不俗，但此时的岳家军仍有一个致命的不足，那就是没有兵源的补充，只能以奇袭和游击战术为主，无法与金军正面对抗。为了在最短的时间内补充最大的兵源，岳飞将矛头暂时调转，通过围剿地方贼寇来大量补充岳家军的兵源。

1131-1133年，岳飞接连平定曹成、张用等地方贼寇，收编其残部。宋高宗为了褒奖岳飞，御赐“精忠岳飞”之旗，并将牛皋、董先等部众划归岳飞指挥。岳家军经过这一轮的整编，纵兵力已达3万。

两年之后，岳飞再次率军平定横据洞庭湖地区的贼寇杨幺，击破匪军20万，收编其中6万余人。短短5年时间，岳飞通过清剿地方匪寇，不仅打出了岳家军的名望，赢得了民心，还将总军力扩充到了10万余人，一跃成为南宋抗金实力最为强大的主力部队。

岳家军士兵大多出身草莽，历史也不太光彩。为了加强部队的战斗力，岳飞制定了最为严明的军纪，同时对部队进行了一轮特殊的“改造”。

岳家军被划分为12个部分，以擅长的技能进行重新的整编。比如原杨幺洞庭部众被编织成“水军”，前辽降将赵秉渊所部被编为“胜捷军”，负责侦查的“踏白军”，以及担负奇袭和突击任务的“ 背嵬军”。

《云麓漫钞》中就对背嵬军有过详细的记载，这是一支岳飞收拢全军精锐组建而成的“特种兵”，其中包括数万步兵和南宋第一支正规化的骑兵部队—8000背嵬骑兵。

背嵬军在历史上的战绩非常出色。郾城之战，背嵬军与游奕军骑兵合力大败金军王牌部队“铁浮图”和“拐子马”，取得全胜。朱仙镇之战，800背嵬骑兵的正面冲锋更是打得金军防线全面溃败，金军由此感叹：“撼山易，撼岳家军难！”

不过在朱仙镇之后，岳家军也迎来最终的结局。1141年，完颜兀术威胁宋朝“必杀岳飞，而后和可成”，宋高宗和秦桧随即以“莫须有”罪名赐死岳飞，并处斩岳云、张宪，毒死牛皋，停职孙革、黄纵、胡闳休，岳家军主要将领几乎全部获罪。

10多万岳家军也被宋高宗有意分化，背嵬军撤销军名，编入御林军序列，从此远离战场。岳家军其余部众也被打散分驻各地，成为地方守军。一支几乎“战无不胜”的部队，就此终结在了自己人手中。