1926年8月15日，国民军从南口向绥远撤退。8月17日，冯玉祥由莫斯科回国，随行有苏联顾问乌斯曼诺夫及共产党员刘伯坚等。8月23日，国民政府任命冯玉祥为军事委员会委员，同日国民党中央命冯为国民军总党代表。与此同时，国民军集体加入国民党。西撤途中，国民军弹尽粮绝，溃不成军，而韩复榘、石友三、陈希圣、张自忠、张万庆等部均已接受阎锡山改编。9月16日，冯玉祥抵五原，是时孙岳、方振武、弓富魁、徐永昌等皆在五原。冯遂与于右任、邓宝珊等共同组织国民联军，公推冯玉祥为总司令，当即发表宣言，并于17日举行誓师典礼。

随即，国民军联军总司令部组成，鹿钟麟为总参谋长（后易石敬亭），李兴中为参谋处处长，陈连富为副官处处长，徐廷瑗为军务处处长，宋式颜为军械处处长，过之翰为军需处处长，张吉墉为军法处处长，张允荣为内防处处长，薛笃弼为财政委员会委员长。刘伯坚为政治部部长，担任全军党务、政治、宣传、组织、训练等工作，聘乌斯曼诺夫为政治军事顾问。部队中各级均增加政治工作，派党政人员分赴各军成立政治处。冯又与于右任等着手组织军中特别党部。

9月27日，中国国民党国民联军代表大会召开，成立最高特别党部，刘伯坚报告国民党的主张与大会的意义，冯玉祥报告国民军及国内外形势。大会选出方振武、刘伯坚、任右民、赵守钰、王一飞、张绍丰、续培模、张允荣、武勉之、弓富魁、石敬亭11人为特别党部执行委员；冯玉祥、徐谦、于右任、刘骥、史宗法5人为监察委员；卢召亭、张树声、孙金宣、何其巩、白龙亭、张海如、李宝铨7人为候补执行委员；刘廷森、刘仁辅、李鸣钟3人为候补监察委员。在中国共产党的帮助下，国民联军确定了“固甘援陕，联晋图豫”的战略方针。

国民联军总司令部虽已成立，但部队仍分驻绥远各处。驻五原的有张凌云、弓富魁、徐永昌、方振武、冯治安等部。而此时韩复榘部驻归化附近，石友三部驻包头，陈希圣部驻武川附近，张万庆师驻和林，杨兆麟骑兵师驻固阳附近，赵守钰骑兵师驻大佘太附近，刘汝明师驻临河、磴口一带，孙连仲师驻平罗、宁夏一带。冯玉祥首先对韩复榘、石友三、陈希圣、张万庆进行收抚，对其投晋行为既往不咎，还为他们规定了行军计划。

10月初，冯玉祥先遣佟麟阁、孙连仲两部入甘，以援助孙良诚、张维玺所部，随后确定援陕序列：援陕总指挥孙良诚，副总指挥方振武；第一路总指挥方振武，第二路总指挥弓富魁，第三路总指挥孙良诚，第四路总指挥马鸿逵，第五路总指挥石友三，第六路总指挥韩复榘，第七路总指挥陈希圣；以及刘汝明、孙连仲、韩占元、韩德元各师，骑兵郑大章、张万庆等旅次第进发。

11月27日，解西安之围。冯于1927年1月26日进驻西安。3月，冯部集中关中。此时，南方国民革命军与直鲁、奉军隔江对峙。3月11日，冯玉祥发布出师文告，并以于右任、刘郁芬分任驻陕、驻甘军总司令，坐镇后方。其余部队兵分3路向鄂、豫、晋、绥4省进展，其序列为：

（1）中央军，冯玉祥兼总司令，分中左右3路。以驻西安、潼关沿线各部为中路军，集中河南阌乡一带，沿陇海路直向陕州、洛阳一带进展；令孙连仲率所部及冯治安第四师、韩德元第五师、第十六路张耀枢师为右路军，进出紫荆关，向老河口、南阳一带进展；以徐永昌率所部及第九路井岳秀之一部为左路军，假道山西，直趋石家庄。

（2）南路军，岳维峻为总司令，督率原国民二军留陕各部，由周至户县、高平、柞水一带，集中商雒。

（3）北路军，宋哲元为总司令，集中所部于宁夏，东连绥远商震部，进出察热，待命进攻。

各路兵力为：

冯玉祥自兼总司令之中央军，含：（1）中路军，辖方振武第一路，孙良诚第三路，马鸿逵第四路，韩复榘第六路，刘汝明第十师，郑大章骑兵集团所属骑兵席液池第一旅、骑兵郑大章（兼）第二旅和徐廷瑗炮兵旅。（2）以孙连仲为总司令之右路军辖孙连仲（兼）第十路全部，韩德元等五师，张耀枢第十六路之一部。（3）以徐永昌为总司令之左路军，辖徐永昌（兼）第十五路全部，第九路之一部。

以岳维峻为总司令之南路军，辖李虎臣第八路全部，第十二路之一部，第一师和第二师之康保杰旅、何全升旅、张德枢旅、丑彦俊旅、胡景铨旅。

以宋哲元为总司令之北路军，辖门致中第七路，陈希圣暂编第一师，马鸿宾第二十二师，赵守钰骑兵第五师，韩占元第八师。

左路军徐永昌部由此入晋，归阎锡山指挥。南路军岳维峻部多为土著部队，怀乡恋土，未能按命令行动。直接参加作战者，只有中央军之左、右两路。