隆安五年（公元401年），司马元显刚好20岁。在孝武帝司马曜驾崩以后，东晋中枢与地方之间的权力平衡被打破。司马道子父子因孙恩之变，无暇顾及上游，桓玄迅速夺占了荆州、雍州。朝廷无奈，只得任命其为都督荆州、司州、雍州、秦州、梁州、益州、宁州、江州以及扬州、豫州二州八郡诸军事，兼荆州、江州刺史。桓玄又擅自任命其兄桓伟为冠军将军、雍州刺史。
在孙恩之乱被暂时平定之后，桓玄进一步加强对大荆州地区的控制，并将防守的重心放到了下游地区。他上书请求中央任命桓伟为江州刺史，镇守夏口，任命自己的司马刁畅为辅国将军、都督八郡诸军事，驻守襄阳。随着实力的扩大，桓玄逐渐产生了取而代之的野心。东晋朝廷征召广州刺史刁逵、豫章太守郭昶之，但桓玄均将他们扣留下来。
司马元显也在不断巩固自己的地位，大肆诛杀朝中的异己势力。对于司马道子父子的专权跋扈，桓玄看在眼里，喜上眉梢。他借孙恩之乱大做文章，向朝廷施加压力，言语之间咄逼人，指斥朝廷用人不当，司马元显看到以后，不禁大为恐惧。
司马道子父子与桓玄之间的矛盾，很快就凸显了出来。
司马元显的亲信张法顺建议道∶“桓玄刚刚得到荆州，人心尚未完全归附，他还忙于安抚本地，无暇他顾。趁此时机发兵将其诛灭，让刘牢之作为前锋，而您则率领大军随后进发，桓玄的人头肯定会悬挂于您的帐前。”司马元显表示同意，他派遣张法顺前去京口，与刘牢之商量此事。刘牢之听了，自忖桓玄年轻气盛，素来有英雄之名，担心难以取胜；他又想到，假如灭掉了桓玄，自己功高震主，肯定不会被司马元显所容，因此面露难色。
张法顺从京口回来后，向司马元显报告说∶"我观察刘牢之的脸色，其人肯定不会为我所用，不如将其征召到京师，先行诛杀，不然的话，肯定会坏我大事。”司马元显不从。
张法顺的计策，可谓是知彼而不知己。桓玄刚刚占领大荆州不假，如果朝廷出兵荆州，桓玄内部极有可能会出现内讧。但是，朝廷可依靠的军队也只有北府兵和豫州的军队。而且，京师建康刚刚经历了孙恩之乱，实力也非常薄弱，在这种情况下，兴师讨伐桓玄，并没有必胜的把握。
原豫州刺史庾楷看到桓玄与朝廷的矛盾逐渐激化，他担心桓玄会失败，为了保全自己，他主动结好司马道子父子，并秘密对司马元显说∶“桓玄不得民心，军队不愿为其效力，如果朝廷派军前来讨伐，我将作为内应。”在庾楷的鼓动下，司马元显决定先发制人，利用北府兵一举将桓玄击败，重新树起朝廷的威信。
元兴元年（公元402年）一月一日，东晋朝廷在击退孙恩一个多月以后，即下诏指斥桓玄的罪状，并加司马道子为侍中、太傅，设置左右长史、司马、从事中郎四人，骠骑将军的文武官员全部划归太傅府；任命尚书令司马元显为侍中、骠骑大将军、开府仪同三司、征讨大都督、都督十八州诸军事，加黄钺，班剑二十人；任命镇北将军刘牢之为前锋都督、征西将军、领江州刺史；以谯王司马尚之为刘牢之的后继，以司马尚之的儿子司马文仲为宁远将军、宣城内史。同时，大赦天下，改元元兴。
在决定正式讨伐桓玄之初，司马元显原本是打算将桓氏家族彻底铲除的。
史书没有说司马元显何以产生这个想法，究其原因，大约来自两个方面的考虑∶一是军事上的原因，避免建康的桓氏家族成员在后方兴风作浪；二是出于司马氏家族对桓氏的仇恨。不过，桓氏家族势力庞大，与其他门阀士族有着盘根错节的姻亲关系，彻底灭掉桓氏谈何容易。
听说司马元显打算将桓氏灭门后，王诞赶紧面见司马元显，痛陈桓修等人与桓玄志向不同，不会为桓玄所用。也许是司马元显考虑到桓氏错综复杂的关系，这才放弃了这一计划。然而，当张法顺发现刘牢之可能不会与朝廷一心时，他立即对司马元显建议让刘牢之诛杀桓谦兄弟，以显示他没有二心，如果刘牢之不从，可以提前除掉他。司马元显认为兴兵之初，即斩杀大将，必然会军心浮动，万万不可。张法顺再三劝说，司马元显就是不同意。司马元显不仅没有诛杀桓谦兄弟，相反，他想到桓谦之父桓冲曾镇守荆州多年，为了分化瓦解桓氏，还任命桓谦为都督荆州、益州、宁州、梁州四州诸军事，兼荆州刺史。
接到朝廷的檄文之后，桓玄的第一反应就是切断长江水路运输，不允许商人从上游向扬州贩运粮食。由于扬州刚刚经历了孙恩之乱，政府没有一点粮食储备，桓玄的这一措施，立即导致京师的粮食极度匮乏，朝廷只能拿出谷皮、橡果发给士兵们充饥。即便如此，司马元显依然下令实施军事行动，声讨檄文发出后，就定下了进军的日期。
桓豁的儿子、桓玄的堂兄、现任太傅司马道子长史的桓石生，给桓玄写下密信，报告了朝廷的出兵日期。本来，桓玄认为，扬州经过孙恩之乱以后，百姓饥懂，根本不可能全力西上讨伐自己，自己也好利用这个机会养精蓄锐，时刻窥伺朝廷的漏洞。如今司马元显竟然要动真格的，这大大出乎桓玄的意料。
桓玄看了桓石生的密信之后，不禁十分恐惧，计划固守荆州治所江陵城。桓玄的长史卞范之聪明过人，从小就是桓玄的好朋友。听了桓玄的打算以后，卞范之建议道∶“大人雄才大略，威震天下，司马元显乳臭未干，刘牢之不得人心，如果我军兵临京师，向敌人展示威力，拉拢犒赏，敌人将很快土崩瓦解。哪能把敌人请到我方境内，自取困辱，自陷险境呢?”
卞范之的建议可以说是抓住了问题的关键。这是因为，对立的双方均有薄弱之处。朝廷方面，北府兵、西府兵与朝廷军队并非铁板一块，存在分歧，后勤保障也不足。对于桓玄一方来说，同样存在人心不稳的问题。在这种情况下，以积极进攻代替消极防守，把战火引向对方的辖区，正是转被动为主动、提高军队士气的有效手段。桓玄听从了卞范之的建议。他发布了一道反檄文，揭露司马元显的罪行，并命令哥哥桓伟从夏口回到江陵，驻守后方，他自己则亲自率领大军顺流东下。
接到桓玄的檄文之后，司马元显同样深感意外，也同样十分恐惧。元兴元年二月七日，晋安帝司马德宗在宫城的西池设宴给司马元显壮行，皇帝赏赐的践行酒喝完以后，司马元显也登上了战船，可是，由于心存恐惧，他一直迟迟没有下令开船。其实，心存恐惧的岂止是司马元显一人，对立阵营的主帅桓玄同样对战事的发展没有丝毫把握。自从兵发江陵以后，桓玄一直担心自己以下犯上，人心不服，军队不会替自己卖命，难以成功，因此，时常打算折回江陵。然而，当桓玄进抵浔阳后，竟然发现没有朝廷军队，过了浔阳，扬州就在眼前，桓玄不禁大喜，军中也士气大振。也就在此时，庾楷与朝廷秘密联络的事情也败露了，桓玄将其暂时囚禁起来。
二月十八日，晋安帝司马德宗命令南顿王司马宗的儿子司马柔之携带“驺虞幡”西上，制止西军东下。可是，如今的驺虞幡已经失去了昔日的威力，桓玄的前锋部队根本不予理会，当场斩杀了司马柔之。
二月二十八日，桓玄大军进抵姑孰（安徽当涂）。在此，桓玄命令部将冯该、苻宏、皇甫敷、索元等人，进攻豫州治所历阳。驻守历阳城的是司马尚之的弟弟、龙骧将军、襄城太守司马休之，司马休之率军登上城墙固守，桓玄水军驻扎在历阳以南的洞浦，切断了历阳对外的交通，并焚毁了豫州的战舰。失去了大部分战舰，司马尚之率领九千人在洞浦岸上列阵，另派武都太守杨秋率军作为奇兵，驻守在横江（安徽和县东南长江北岸），然而，出乎司马尚之预料的是，杨秋竟然率先投降了桓玄。杨秋投降立即动摇了司马尚之所部的军心，很快就自行逃散了。司马尚之逃到涂中（安徽滁州）隐藏，十余日后，谯国人韩连、丁元等向桓玄告发，桓玄派军将其抓获。司马休之率领五百守军出城死战，战败逃回城内，后携子侄弃城北逃。
