永和十年（354年）二月，桓温统率5万步骑，从江陵出发，分水陆3路进攻前秦国都长安。3路大军中，有两路出自荆州，荆州水军取道襄阳，逆汉水北上，步军则从淅川直指武关（今陕西商洛西南、丹江北岸）;第3路由蜀中的建威将军、梁州刺史司马勋率领，出子午谷直趋长安。

此次北伐，桓温已经准备了6年之久。首仗攻打上洛（今陕西商洛市），生擒前秦荆州刺史郭敬，又攻破了青泥。司马勋夺取了前秦的西部边陲地带，凉州方面张祚也派后赵叛将、秦州刺史王擢攻打前秦西南重镇陈仓（今陕西宝鸡），呼应桓温。

三面夹攻的态势，令前秦的局势岌岌可危。苻健派太子苻苌、丞相苻雄、淮南王苻生、平昌王苻菁、北平王苻硕率领5万大军在晓柳（今陕西蓝田南）抗击晋军。双方在蓝田展开激战，淮南王苻生异常勇猛，单枪匹马冲入晋军阵中来回了冲杀十几次，杀死杀伤众多晋军将士。桓温毫不示弱，亲自督阵，率领晋军力战，秦军大败，损失惨重，太子苻苌也被流矢射中，身负重伤。

桓温的弟弟桓冲也在白鹿原（今陕西灞河附近）击败了苻雄所部。桓温乘胜推进到灞上（今西安市东），直逼长安。秦军被晋军连续击败，土气受挫，苻苌率领败兵退守长安城南，苻健也只带着6000名老弱残兵退入内城坚守，把手中最后的3万精兵交由大司马雷弱儿统率，与苻苌会合，一起抵抗桓温。

关中地区各郡县守令都前来归降，百姓纷纷带着酒肉犒劳晋军，男女老少夹道观赏晋军的军容军姿，不时有遗老流泪感叹∶"不想到有生之年还能见到王师啊!"

桓温没有趁士气高涨，民众大力支持的有利时机一鼓作气消灭前秦，估计此时的他更多的是在权衡个人的利害得失。客观上，王曜攻破了陈仓，斩杀了前秦扶风内史毛难;而司马勋在子午谷被前秦丞相荷雄打得丢盔弃甲，退守女娲堡。两支偏师一胜一败，不尽如人意，多少也动摇了他取胜的信心。

桓温认为自己恢复关中，只能得个虚名，而地盘却是朝廷的。与其消耗实力，失去与朝廷较量的优势，不如留敌自重。

然而，桓温踌躇不前，给了秦军喘息之机，战局很快变得不利起来。桓温与苻雄再度在白鹿原展开大战，晋军失利，损失了上万人。一度攻占陈仓的王擢得而复失，逃回了凉州。

.

晋军由于战线过长，后勤补给跟不上，桓温原本打算在关中就地取粮。苻健识破了他的意图，抢先把麦子全部割完，坚壁清野。晋军缺乏粮草，斗志全无，桓温只好裹挟关中的3000 多户民众一起班师。

关中的反秦势力呼延毒也率领部众1万多人跟随桓温撤退。苻苌等人率军在后面紧追不舍。晋军边打边撤，退到潼关时，又损失了上万人。司马勋也退回了汉中，桓温对前秦的北伐行动，就以先胜后败而告终。

东晋朝廷和桓温本人对此次北伐都不愿作过多评论，既不庆祝胜利，也不承认失败。朝廷只是派出一个慰问小组到襄阳看望了一下从前线归来的桓温，走个程序。这样的结果，桓温自然不是很满意。不过很快他又找到了北伐的机会，河南一带又出现了混战，原来已经归附东晋的冉魏旧将周成占据洛阳后，再次打出反晋的旗号。羌人姚襄自称大单于，占领了许昌之后，又北上与周成争夺洛阳，双方在洛阳激战1个多月未分胜负。

永和十二年（356年），桓温第二次从江陵出发北伐，迅速到达了洛阳城南的伊水。姚襄赶紧撤军，将精兵隐蔽在伊水以北的丛林中，派使者对桓温说："将军亲率王师前来，我情愿归顺，请你的军队稍微后退一点，我就会出来迎接将军。"

桓温可不是殷浩，一眼就识破了姚襄的诡计，说："我这次是来收复中原，修复先帝的陵墓，和阁下没有关系。如果阁下想来拜见，近在咫尺，随时可以过来，何必麻烦使者呢?"他继续进军。

姚襄见桓温不上当，只好摆开阵势顽抗，被桓温打得大败，损失了几千人，带着残兵败将逃到了北邙山，后来又奔往平阳，最后在与前秦的交战中被待坚所杀，年仅27岁。

洛阳城中的周成已经被姚襄围攻得疲惫不堪，见东晋大军到来，只得乖乖打开城门，再次投降。桓温见好就收，没有继续北进，把部队屯驻在过去的太极殿前，紧接着又转移到金墉城，拜谒了先帝皇陵，设置护陵官员。随后推荐镇西将军谢尚都督司州（即洛阳一带）的军事，镇守洛阳，没等谢尚到任，就留下颍川太守毛穆之、督护陈午、河南太守戴施率领2000人马驻守洛阳，押着周成，匆匆率领大军返回了荆州。

桓温凭着两次北伐的军事行动，确立了军中一把手的地位，在接下来的时间里，他采取守势让朝廷松了一口气，双方相安无事。