就在桓温伐蜀前后，石虎也在整军备战，闹得四处风声鹤唳，这也是桓温担心石虎会乘虚南下、匆匆赶回江陵的重要原因。不过，石虎在权衡再三后，并没有对东晋发动进攻，而是采取了先易后难的策略，把进攻的矛头转向了相对弱小的前凉张氏集团。
与前燕如出一辙，前凉政权也属于一个渐进式独立的政权，它真正独立的时间界限是十分模糊的。从张轨任凉州刺史，到儿子张蹇，再到张蹇的弟弟张茂，又到张蹇的儿子张骏，已历四世。
张骏于晋明帝太宁二年（公元324 年）继位，时年18岁。张骏在位期间，主要采取了以下措施。
第一，增强张氏集团的凝聚力。
第二，争夺秦陇地区。
第三，兼并西域。在解除了东顾之忧以后，张骏将目光投向了西域诸小国。他命令杨宣领兵远征西域，讨伐鄯善、龟兹等国，西域各国全部表示臣服。
第四，修筑城市宫殿。
第五，刑政修明。由于张骏政治修明，境内远近称其为“积贤君”。
虽然已经威服西域、稳定国内，但张骏一直对于庞大的石赵感到不安。他开始联络东晋和燕国，试图三路一起讨伐石赵。晋康帝建元二年四月，凉州河州刺史张瓘率兵在三交城（陕西省宝鸡市，一说是在陕西省榆林市绥德县。）将石赵休屠王擢击败，使前凉的势力开始从陇西渗透到陇东。
此战应该是前凉与当时东晋征西将军庾翼的北伐相互配合的一次行动。庾翼的北伐因为庾冰的突然去世而中断，并在数月之后因庾翼本人的去世而终结。然而，凉州方面对关中地区的压力，却让石虎感到必须先吃掉张骏集团，或者先将其赶出居高临下的秦陇地区，以解除长安的威胁。就在此时，东晋庾氏家族轰然倒塌，东晋朝廷正忙于重新分配各个门阀士族之间的权力。无暇兼顾北方，而就在石虎寻找机会的时候，晋穆帝永和二年五月二十三日，凉州的张骏却因病去世了，终年40岁，在位二十二年。
张骏去世之后，年仅16岁的世子张重华继位。他减免赋税，去除关税，开放园林，赈济贫民，并派遣使者送上印章，以结好石虎。
张骏之死对于石虎而言，是一个千载难逢的机会。他命令休屠王擢、凉州刺史麻秋、征西将军孙伏都等不断对凉州境内进行侵扰。开始的时候，麻秋军队看到河湟间的氐羌部落十余万帐篷与张重华的军队首尾相接，不敢贸然进行大规模的进攻，只是做试探性的侵扰。后来，王擢奔袭武街（甘肃省定西市临洮县南），活捉了前凉护军曹权、胡宣，并将那里的七千多户民众迁往雍州。接着麻秋、孙伏都率军攻击金城，金城太守张冲求救。前凉西域校尉张植与奋威校尉牛霸率领骑兵救援不及，金城因而陷落，张冲投降。金城令车济被俘。
河西的屏障金城郡陷落，引起凉州一片震恐。
张重华集中境内的全部兵力，交给征南将军裴恒指挥，抵御石赵军队。裴恒在广武（甘肃省兰州市永登县境）设下大营，却久久不敢进军，试图采取持久战法拖垮石赵兵团。
看到这种情况，张重华任命谢艾为中坚将军，给其步骑五千去进击麻秋。谢艾领着这五千人马，从振武（甘肃省兰州市永登县西北）出发。临行的夜里，有两只枭鸟在营门里鸣叫。谢艾说∶"'枭'，就是邀的意思。赌博时，谁得到了'枭'，就能够获胜。现在枭鸟在营门中鸣叫，这是克敌的好兆头。"于是，他率军迎战敌军，大破麻秋军团，斩首五千。张重华封谢艾为福禄伯。但是，战后，各个宠臣嫉妒谢艾的贤能，共进谗言，张重华又将其贬为酒泉太守。
不久，石虎又命令麻秋进攻大夏（甘肃省临夏回族自治州广河县东南）。大夏是金城的南部依托,只有攻下大夏，石赵军才能巩固金城的后方。在石赵大军的威压之下，大夏护军梁式绑架太守宋晏投降。
这是石虎对凉州张氏的第一次进攻，此时也正是桓温密谋伐蜀前后。这次打击，石虎将河西张氏在黄河南岸陇西地区的几个较大的据点都拔掉了。
对于石虎而言，只有完全占领黄河南岸之地，才能确保大军北上之后的后方安全，因此，在顺利拿下了大夏之后，石虎又命今麻秋领兵进攻凉州在黄河南岸的另外一个大的据点—袍罕。
袍罕，属于河州兴晋郡，即今天的甘肃省临夏市。枸罕与大夏，如今同属于甘肃省临夏市，它东临洮河，西倚积石山，南靠太子山，北濒湟水，有"河湟雄镇"之称，是凉州张氏在黄河南岸最靠西部的一个重要据点。永和三年年初，麻秋的大军遂来到了袍罕城下。
麻秋领兵八万，将袍罕团团包围，势在必得。他下令在枸罕城外挖了好几道防堵守军突围的堑壕，然后上架云梯，下挖地道，同时使用投石车、撞城车，而城内守军也一一应对。双方不分昼夜展开惨烈的厮杀，石赵军队死伤数万，枸罕外城城墙几乎被打通。但是，袍罕城却仍然没有被攻下，麻秋只得退回了大夏。
石虎并不甘心失败，不久，他任命中书监石宁为征西将军，率领并州、司州一万大军西进，作为麻秋等军的后继部队。至此，石赵已经在河湟地区屯驻十余万人马。面对气势汹汹的石赵大军，凉州内部也发生了动摇，将军宋秦等人率领二万多户军民投降。面对空前的危机，张重华再次想到了被冷落了的谢艾。他为了提高谢艾的威望，赋予他最高的权力，任命谢艾为使持节、军师将军，使谢艾成为战时凉州的最高军事指挥官。
谢艾统领步骑三万，从姑臧出发，一路南下，直抵黄河北岸，与石赵军队隔河相望。麻秋也率领三万军队前去迎战。
两军列阵，谢艾却乘坐小车，带着白帽，指挥部队擂鼓前进。
麻秋遥遥望见，不禁大怒，当即命令军中最为精锐的三千黑矛龙骧骑兵，直冲凉州军团的阵脚。面对这只气势汹汹的骑兵部队，谢艾手下一阵慌乱，左战帅李伟劝说谢艾骑上战马。谢艾不仅没有听从，反而从车上下来，安坐到椅子上，伸出手臂，左右指挥。
这支直冲而来的麻秋骑兵部队看到谢艾镇定自若、左右指挥，担心两边有伏兵，还没有冲到凉州军团的阵前，就狐疑不定、勒马不前了。
其实，谢艾早已胸有成竹，他确实提前埋伏了一支伏兵。这支伏兵由张瑁率领从左南，沿着黄河迂回，绕到麻秋大军的侧背后，截断了他的退路。
麻秋发现了侧背后的这支凉州部队，立即下令全军撤退。
看到石赵军队开始后撤，谢艾发起了总攻的命令。一时间，西凉军团战马嘶鸣，鼓角震天，朝撤退中的石赵军队扑来。石赵军队大败，其将杜勋、汲鱼及一万三千余名士兵被杀，麻秋丢下大军，匹马逃回大夏。战后，张重华封谢艾为太尉府左长史，进封其为侯，食邑五千户，赏赐帛八千匹。
永和三年五月，麻秋与前来增援的石宁回师，共有大军十二万之众，进驻到河南地（甘肃省兰州市黄河南岸地区），企图一举灭掉前凉。他派遣将军王擢、刘宁向晋兴郡（青海省海东地区民和县）、广武郡、武街略地;大军则渡过黄河，袭击遂城、长最，并越过洪池岭，抵达曲柳（甘肃省武威市古浪县境），前锋距离姑臧仅有咫尺之遥。凉州君臣大为震动。
张重华再次任命谢艾为使持节、都督征讨诸军事、代理卫将军，任命索遐为军正将军，率领步骑二万前去抵御。与此同时，前凉将领杨康在沙阜击败略地的石赵将领刘宁，使刘宁退回金城。
谢艾在整军誓师出发之时，突然天上刮起了西北风，将战旗顺风指向东南方向。军正将军索遐说∶"风神已经下达了号令，让令旗直指敌人。这是上天的旨意，一定能够破敌!"
谢艾领军进屯姑臧郊区的神鸟，石赵将军王擢提兵与凉州军团前锋交战，被击败，退回黄河以南;八月二日，谢艾对麻秋所部发动反攻，大破麻秋团，麻秋再度逃回了金城。
逃回金城的麻秋，又一次包围了袍罕，袍罕护军李逵率众七千投降了麻秋，然后，麻秋又在河陕袭击凉州将领张瑁，斩首三千余。自此，石赵王国全取了河南之地，黄河南岸的氐羌部众也都归顺了石赵。
经过多年的艰苦战斗，石虎虽然拿下了凉州的河南地，但是他灭亡凉州的野心却没有实现，石赵军队败退之后，张重华又命令谢艾领军讨伐境内叛乱的斯骨真等部落，斩首一千余，俘虏两千八百，获牛羊十余万头，平定了叛乱，逐步稳定了国内的局势，双方暂时在黄河两岸相持。
