1924年，中国国民党第一次全国代表大会的召开，标志着以国共合作为基础的革命统一战线的正式建立，第一次国内革命战争由此开始。正当全国革命形势迅速发展之际，第二次直奉战争白热化，直系将领冯玉祥在前线倒戈，发动“首都革命”，囚禁贿选总统曹锟，逐溥仪出宫，直系军阀主力在前线土崩瓦解。北京政变后，冯玉祥将所部改称国民军，表示倾向革命。为了联合反直各派，冯玉祥一方面同奉皖军阀联名拥戴段祺瑞为“中华民国临时总执政”，成立“中华民国临时执政政府”；另一方面电邀孙中山北上“共商国是”，主持国家大计。 然而，段祺瑞上台后，发表“外崇国信”宣言，表示尊重几十年来帝国主义强加于中国的一切不平等条约和特权，并召开军阀官僚进行政治分赃的御用“善后会议”，与国民会议相对抗，勾结排挤冯玉祥。当时的甘肃，回汉军阀拥兵割据，就地任免官员，横征暴敛，民不聊生。甘肃政局发生了巨大变化，甘肃军务督办兼省长陆洪涛中风卧床，甘肃陆军第一师第一旅旅长李长清乘机发动兵变，驱逐陆洪涛，自任师长，在兰州关门称王。段祺瑞政府接到李长清发动兵变的禀报后，即以冯玉祥兼任甘肃军务督办，前往镇抚。

1925年10月下旬，国民军第二师经过四十三天的急行军，浩浩荡荡地开进兰州。师长刘郁芬避开李长清率领全城文武的两次郊迎，早于前一天秘密进入兰州。国民军势力进入兰州后，地方军阀仍然拥兵自立，伺机而动。尤其是李长清，在大军压境、不知虚实的情况下，欢迎国民军入境，并让出一部分防区，自己驻扎兰州东教场和拱星墩一带。但他表面上同国民军分区驻防，暗中却与其亲信包玉祥等密谋，企图再次发动兵变。 李长清将兰州军械库的枪支弹药等军用物资悉数运往营区，并要求将所部扩编为三个混成旅，这不但远远超过国民军第二师兵力，而且饷源无着，当然为刘郁芬、蒋鸿遇所拒绝。刘郁芬拟将李师调出兰州，后伺机解决，但又遭李长清拒绝。

1925年11月某日夜，冯玉祥给刘郁芬发来第一件万分火急的亲译密电，大意是甘军师长李长清勾结外援，图谋不轨，望即拿获，就地正法。于是，刘郁芬和蒋鸿遇断然决定，一面对李长清严加戒备，秘密监视李师动静，一面先发制人解除国民军武装。

11月16日上午，刘郁芬邀请马鸿宾检阅部队，显示军威。同时，刘郁芬给李长清连发几次电报，邀请他暂时维持兰州秩序，并试探他的口气，但始终未得回复。于是，刘郁芬先派蒋鸿遇带领便衣手枪队同李长清进行谈判、侦察敌情。李长清请蒋鸿遇检阅部队并向部队训话，蒋鸿遇却十分从容地指出李长清的部队军纪涣散，并以一千多名便衣手枪队早已进入兰州城为例，警告他们打仗不是简单的事情。李长清怕因此引起怀疑，只好如约赴宴。 李长清进入督署大庭后，督署宣布省城戒严，督署大门立即关闭。梁冠英团长随即指挥手枪队冲入会场，将李长清、包玉祥、华连升（营长）等逮捕。蒋鸿遇当众指出，李长清、包违抗命令，图谋不轨，奉令逮捕。这与魏参谋长无关。随后，刘郁芬在督署秘密处决了李长清、包玉祥、华连升三人，并取消甘肃陆军第一师番号，将该师改编为两混成旅，以郭安学任第一混成旅旅长，驻东教场，以宋有才为第二混成旅旅长，驻拱星墩。同时，刘郁芬还任命原督署军务处长宋有才为第四混成旅旅长，以黄得贵为游击司令，规定由督署统一指挥全省军队。 铲除李长清后，刘郁芬进一步整编部队，加强军事部署。1926年初，由国民军第二师抽出一部分官兵扩编为一个旅，以丁振国为旅长，与郭安学旅合编为国民军第十二师，由蒋鸿遇任师长，奉调开赴绥远。杨烟东升任督署参谋长，孙良诚提升为第二师师长，梁冠英升任旅长，魏鸿发调任督署顾问，安树德升任旅长。中下級军官也次第由国民军接充。调梁冠英旅开赴定西，加强东部防线，切断张兆钾和孔繁锦之间的联系，张维玺、安林德旅驻兰州，一面卫戍省城，一面进行补训。 为了补充中下級军官，成立军官教导团，短期培训现职连以下军官，开办军士训练班，通令各县选送小学毕业生培训学兵，补充军士。派出大批武装人员分赴各县特别是陇东各县招募新兵，同时侦察各镇动态。 “三一八”惨案以后，在直奉军阀的压迫下，国民军缩短战线，放弃京津、热河等地，退守南口、张家口、归绥、包头一线。直奉军阀为了全力进攻国民军，吴佩孚任命刘镇华为“讨贼联军总司令”，率领镇嵩军和陕南护军使吴新田会攻陕西国民军。4月，刘镇华围攻西安。命令张兆钾、孔繁锦等八镇守使及黄得贵、宋有才、韩有禄进攻甘肃国民军。

1926年5月初，黄得贵收集残部，以修路为名，袭击兰州。6月中旬，张兆钾任命支队长刘福生为前锋，韩有禄率所部由固原过六盘山进攻会宁、定西，孔繁锦进兵通渭、陇西、渭源、临洮，应援张兆钾，会攻兰州。刘郁芬派杨慕时、刘存简率手枪团从兰州驰援定西，梁冠英旅在定西峡口、青岚与敌展开激战。 刘郁芬急令张维玺旅抗击黄得贵，一直驱逐到距兰州西南六十里的关山，黄得贵改取守势。张兆钾和孔繁锦等甘肃地方军阀特别野心勃勃，与直奉军阀相互勾结，准备进攻国民军。在这种形势下，刘郁芬一面加强军事防御，一面积极寻求各方支持。 7月初，国民军联军解西安之围后，冯玉祥任命于右任为国民军驻陕总司令，刘郁芬为国民军驻甘总司令。国民军联军经宁夏、陇东相继入陕，控制陕西。随后，国民军联军挥师入陕，参加北伐战争。

1926年9月中旬，国民军第二师从驻地包头出发，经过绥西的昆都仑召、太仆寺、四柜咀山等地，没有经过战斗，顺利进入甘肃的宁夏地区。在行军途中，宣侠父、钱清泉等政工人员每天走在队伍前面，向部队宣传、鼓舞士气，向沿途群众作讲演、散传单，宣传国民军的宗旨和军纪，以及孙中山的新三民主义。部队不顾艰苦疲劳，战胜人烟稀少的草原、沙漠，穿山岭，涉水渡河，风餐露宿。部队军纪严明，沿途受到饱尝西军之苦的各族人民群众的热烈欢迎。 9月17日，冯玉祥在五原誓师，宣布全军加入国民党，组建起国民军联军。随后，国民军联军经宁夏、陇东进军陕西，解西安之围。1927年初，国民军联军东出潼关，与武汉北伐军胜利会师郑州。

在国民军刘郁芬部进军甘肃的过程中，先后击败了黄得贵、张兆钾、孔繁锦等地方军阀势力，控制全省。 1926年7月初，黄得贵率残部退向榆中甘草店，与孔繁锦部会合。张维玺旅和吉鸿昌旅次第抵达兰州，改变了双方力量对比。国民军发起反攻，黄得贵、宋有才部与张兆钾部一触即溃，宋部向临洮败退，国民军乘胜追击。孔繁锦部连克渭源、陇西、武山，直逼天水。此时，天水县长王祯秘密投奔国民军，陇南的孔繁锦余部被国民军改编。 7月28日，张兆钾部进行顽抗，但国民军英勇攻击，定西直下会宁。张兆钾见大势已去，仓皇离开平凉，转赴大连。8月18日晚，盘据陇南六年多的孔繁锦已成惊弓之鸟，率少数亲信官兵经徽县投奔吴新田。8月19日，国民军进驻天水，至此，东路国民军发起反攻后，陇南控制。8月28日，国民军进驻平凉，陇东控制。黄得贵在国民军追击下，经西峰、宁县、镇原、正宁败退陕西，后为陕军收编。至此，国民军刘郁芬部终于控制全省。