桓温在永和十年第一次伐秦，时隔一年之后，于永和十二年第二次伐姚襄，收复了洛阳，但是，主力部队均又退回了荆州，不过，这也怨不得桓温，中原千里丘墟，根本难以解决大军的粮食问题。

到了升平年间，面对前燕咄咄逼人的攻势，桓温没有再主动北伐，在此期间他的眼睛更多地投向了东晋朝廷内部，他在觊觎豫州、徐州的地盘和军队，而恰恰在此时，担当起抵御前燕南下重任的正是豫州、徐州方面的军队，而不是桓温的荆州部队。

豫州是谢氏的地盘，桓温打下洛阳之后，不是自己镇守边关，而是表请谢尚都督司州诸军事，让其镇守洛阳，这一招未必不是其欲将谢氏势力调出豫州所实施的"调虎离山"之计。不巧的是，正碰上谢尚重病，朝廷只好将此职务授予了王胡之，可是王胡之未行先死，到了第二年，即升平元年，朝廷又加谢尚为都督豫州、冀州、幽州、并州诸军事，这应当还是在桓温的敦逼之下的任命，可是，谢尚却病情加重，朝廷只好将其任命为卫将军，加散骑常侍，征回了朝廷。谢尚走到历阳就病死了，终年五十岁。

谢尚自永和二年到升平元年去世，在豫州刺史任上共十二年、他死后，朝廷将桓温的那位"方外司马"、谢安的哥哥谢奕任命为安西将军，豫州刺史，都督豫州、司州、冀州、并州诸军事，假节，接替了堂兄谢尚的职务。此时，桓温已经拿到江州，他的二弟桓云已被任命为江州刺史，阻挡桓温染指朝堂的绊脚石就剩下了豫州和徐州。因为谢奕与桓温有布衣之好，谢氏家族让其接任豫州刺史，让桓温也无话可说，然而，好景不长，到了升平二年八月，谢奕在豫州刺史任上一年左右却又去世了。

司马昱遂任命谢奕的弟弟、吴兴太守谢万担任豫州刺史兼淮南太守，监司州、豫州、冀州、并州诸军事，假节。

谢万上任不久，徐州、兖州刺史荀羡也生病了，朝廷以郗鉴的二儿子、御史中丞郗昙为荀羡的军司，这当然是因为郗家在京口潜在的势力使然，在荀羡得病期间，郗昙其实已经成为徐州军队的实际指挥者。

就在东晋豫州、徐州，军队各自换上了新领导之时，前燕也正逐一消灭黄河沿岸的异己势力，与此同时，东晋徐州、兖州的部队也开始了北伐。

升平二年（公元358年）十月，东晋泰山太守诸葛攸趁着前燕出军并州，邺城空虚之际，率兵攻入前燕的东郡（今河南省濮阳市境内），晋军进入武阳（今河北省大名县东）;进逼前燕国都邺城。慕容儁命令大司马慕容恪率领阳骛、乐安王慕容藏回师阻截，诸葛攸大败，率部撤回了泰山（今山东省泰安市）。慕容恪率军渡河南下，在黄河沿岸设置州郡，任命官吏，在慕容恪任命的官吏中，永和六年投降前燕的渤海老人、神射手贾坚就是其中之一，过去，贾坚被任命为乐陵太守，此时，慕容恪将其推到东晋战场的最前沿，将其任命为泰山太守，领兵驻守在山庄（今山东省济南市长清区）。

针对前燕的攻势，病中的东晋徐州、兖州刺史荀羡亲自率军北上，攻击山庄。当时，贾坚所部才七百余人，而荀羡率领的部队近万人。贾坚将要出城迎战，诸将都说∶"寡不敌众，不如固守。"贾坚却说∶"固守也免不了失败，不如主动出击。"他趁荀羡所部立足未稳，出城突击，杀伤晋军一千多人之后，又回到城内。荀羡遂将山庄团团围住。

贾坚叹息说∶"我自从结发成年之后，就立志要建功立业，可是，却屡遭挫折，这难道不是命吗?与其屈辱偷生，不如守节而死!"他对将士们说∶"如今已经毫无希望，你们可以快快逃命，我将在此等待死亡。"贾坚的将士们都哭泣着说∶"大人如果不肯出城逃命，我等也与大人一起求死。"就将贾坚扶上了战马。

贾坚说∶"我如果想先逃命的话，肯定不会让你们先走。今天，我将为你们决斗，如果难以取胜，你们一定要速速逃去，不要管我!"贾坚带领自己少得可怜的士兵们，直接打开城门而出。

晋军从四面八方围了上来，贾坚立马于护城河桥上，左右射箭，涌上来的晋军无不应弦而倒。

晋军人数众多，有的跳到护城河下面，将木桥的桥墩砍断，木桥轰然倒塌，贾坚连人带马掉到桥下，遂被晋军生擒，山庄陷落。

十二月，前燕青州刺史慕容尘派遣司马悦明，领军前来解救泰山，荀羡又一次被打得大败，前燕军队再次收复了山庄。前燕皇帝慕容儒授予贾坚的儿子贾活为任城（今山东省微山县境）太守。

山庄大败之后，荀羡因病被征回建康，到升平三年，荀羡病死，时年三十八岁。

第二年（即升平三年）九月，徐州、豫州部队再次实施北伐。东晋泰山太守诸葛攸率领两万水陆部队，从石门进入黄河，驻扎在黄河中间的一个小岛之上。前燕上庸王慕容评、长乐太守傅颜，率领五万步骑前往迎击，两军在东阿（今山东省阳谷县境）激战，诸葛攸的东晋军队再次大败。

十月，晋穆帝下诏命令谢万率领豫州军队驻军下蔡（今安徽省凤台县），谢万派遣征虏将军刘建整修马头城池，自己则亲率大军从涡水和颖水西上，增援洛阳；而郗昙则率领徐州军队驻军高平（今山东省巨野县南）。东线郗昙的前锋诸葛攸东阿大败之后，前燕将军傅末波等人又领军与郗昙主力交战，郗昙所部再次被击败。恰巧此时郗具也生病了，东路军开始南撤，退回到了彭城。

而西路军的统帅豫州刺史谢万，自从上任以后，依然是以吹口哨和吟诗为业，自以为自己很了不起，从不安抚部众。一直隐居东山的谢万之兄谢安对他这个弟弟很不放心，跟着他在军中，自军中小队长乃至谢万的部将无不接洽，交谈勉励。

谢安对谢万说∶ "你是元帅，对于手下将领要时常接见，让大家心悦诚服。哪有这般傲慢怪诞能成大事的?"

谢万倒是听从了哥哥的忠告，他召集诸将开会，等大家到来之后，面对这些在他眼中的俗人们，谢万一时之间竟不知道说些什么，他憋了半天才用手中的如意，指着大家说出了一句流传千古的话∶"诸将皆劲卒。"一句话说得大家更加愤恨。

这种统帅带领的军队，根本没有丝毫的战斗力。

当谢万听说郗昙的东路军南撤的消息以后，他判断敌人将大举南下，吓得赶紧下令全军撤退。《世说新语·规谏》记载，谢万临逃走的时候，还要属下寻找自己的玉饰马镫，谢安在军中一直都没有正面劝谏过弟弟，这时，也只是缓缓地说了一句∶"眼前还需要这样讲究吗!"听到撤退的命令，这支军心本来就很涣散的大军立即溃散，军中甚至有将土想趁乱结果了谢万，谢安对将士们说∶"这种人应该还让他去做隐士。"由于顾及谢安的面子，将士们才没有动手，谢万单身匹马逃回淮南。东晋朝廷将郗昙降为建武将军，将谢万废为百姓。

谢万的废黜，给桓温带来了一个入主豫州的良机。很快地，东晋朝廷就加授桓温的二弟、江州刺史桓云为都督司州、豫州两州诸军事，兼镇蛮校尉，西阳太守，假节。主政豫州的桓云有鉴于东晋军队数次惨败，同时，也是为了增加自己的军事实力，他开始在豫州地区大规模地实施征兵活动，弄得豫州各地民怨沸腾，，由于朝廷忌惮桓温，也没人敢弹劾他。

升平三年谢万、郗昙北伐失败之后，许昌、颖川、谯城、沛县等城池相继都被前燕占领，洛阳又一次成为孤岛。与此同时，自东而西的燕军也开始逐渐威胁到了桓温荆州的侧翼。