公元401年5月，孙恩试图从海路进攻偷袭东晋的都城建康，被刘裕设计，以少胜多击败，孙恩败逃，刘裕一路追着打，孙恩的部众四处溃散，很多堕海或堕崖，孙恩本人也狼狈登船遁逃。
刘裕把孙恩赶回大海后，山河日下的东晋政权终于喘过一口气。随着前秦的灭亡，北方脱离前秦统治的各个政权之间几乎是无日不战，无暇顾及南方地区。
而孙恩起义把东晋朝廷拖得精疲力尽，把由朝廷实际控制、原本富庶的三吴地区搞得生灵涂炭，导致朝廷财源枯竭。桓玄正是看到了这一点，想趁机浑水摸鱼。
在朝廷全力对付孙恩之时，为加强对荆楚地区的控制，桓玄将防守的重心放到了对付下游的东面，上书请求任命自己的哥哥雍州刺史桓伟为江州刺史，镇守夏口（今武汉）；任命自己的司马刁畅为辅国将军、都督八郡诸军事，驻守襄阳；派部将皇甫敷、冯该率军驻守湓口（今江西九江境内），将沮漳河一带的两千户蛮人迁到长江以南，设立一个武宁郡（今湖北省荆门一带）；又招集流民，设了个绥安郡（今湖北沔阳县）。
这一系列举动让人不安，朝廷试着征召广州刺史刁逵、豫章太守郭昶之人朝，桓玄把人扣下不让进京。这是要另立王国，对抗朝廷的节奏啊！
此时东晋朝廷主政的是司马元显。说起司马元显夺权，还有点搞笑，他是趁老爸喝醉酒的时候，让朝廷解除其司徒、扬州刺史职务，由自己取而代之。
司马道子酒醒后虽然极为恼怒，但也无可奈何。司马元显加录尚书事后，人们称住在东府的司马道子为东录，称司马元显为西录，不过司马道子贪杯好酒的恶习不改，大小政事也就由司马元显掌握了。
桓玄不臣之心日益凸显，被司马元显引为智囊的张法顺提出建议说：“桓玄凭借其家世的名望和资历，吞并了殷仲堪、杨佺期，独霸了荆楚广大地区，而殿下您所能真正控制的地区不过是三吴之地。孙恩祸乱，使三吴一片荒芜，国库空虚、百姓饥馑，桓玄一定会乘机施展手段，达到其不可告人目的。我认为这是目前最值得我们忧虑的事。”
司马元显问他有何良策，张法顺认为：桓玄刚刚取得荆州，人心还没有完全归附，他正在忙于安定民心、稳定局势，还来不及考虑别的事情。应该赶在这个时候让刘牢之为前锋，司马元显亲自率军征剿，一举将其消灭。
司马元显这边正商量着，先前无家可归，跑到桓玄那里蹭饭的庾楷，被桓玄任命为武昌太守。
庾楷吃饱了肚子后，想起自己先前本在桓玄之上，却反而要他施舍，而且看这势头大有要跟朝廷抗衡的意思。这么一想，心理就不平衡了，于是庾楷偷偷派人前来对司马元显说：“桓玄不得人心，部下都不太愿意为他效力，如果这个时候朝廷派军前来征讨，我愿作为内应。”
真是想什么来什么，司马元显当即派张法顺到京口找刘牢之。刘牢之本来是员猛将，却突然扭捏起来，说话含糊其词。
张法顺回来跟司马元显说：“我看刘牢之的言谈举止，觉得他不可靠，不如把他召到京城来先除掉，否则必会坏了我们的大事。”司马元显心想我正倚赖刘牢之去搞定桓玄呢，把他杀了，这仗你打啊！便没有答应。
司马元显谋定而动，于元兴元年（402年）正月提升自己为骠骑大将军、开府仪同三司、征讨大都督，都督十八州诸军事，加侍中、加黄钺、班剑二十人；加司马道子为侍中、太傅，设置左右长史、司马、从事中郎四人；任命镇北将军刘牢之为前锋都督、征西将军、领江州刺史；以前将军谯王司马尚之为刘牢之后援，以司马尚之的儿子司马文仲为宁远将军、宣城内史。大赦天下，改元“元兴”，下诏宣布了桓玄的一系列罪状，发檄进讨。
司马元显的强硬姿态着实吓了桓玄一跳，此前他已经下令封锁了长江漕运，想从经济上把朝廷困死，又加上孙恩之乱还没有彻底平定，以为司马元显一时无力讨伐他，便一直在荆州等待时机。因此，他的第一反应是 死守江陵。
长史卞范之说：“明公的雄才大略威震天下，司马元显乳臭未干，刘牢之不得人心，只要兵临京畿，其势必土崩瓦解，不应主动示弱于人。”桓玄这才发布了一道反檄文，历数司马元显父子的罪状，命哥哥桓伟从夏口返回江陵，坐镇后方，自己率兵东下。
司马元显的檄文让桓玄吓了一跳，同样，他见了桓玄的檄文也是胆战心惊。双方狠话已经撂下，怎么着也得比划两下。二月初七，晋安帝在西池给司马元显喝酒壮行，司马元显出来就登上战船，可由于心里直发毛，迟迟没有下令开船。
而桓玄这边虽然出发了，心里也是怕得要命，担心自己以下犯上，人心不服，害怕落得个身败名裂的下场。一直想着打退堂鼓，然而沿路却未见朝廷一兵一卒，当船过浔阳（今江西九江西），扬州就在前面时，胆子才壮起来。
桓玄到达姑孰即命冯该等一鼓作气攻克历阳，俘获了豫州刺史司马尚之。而此时的司马元显还待在那艘设施完备的指挥船上，他指望的前锋都督刘牢之到了建康西南的溧洲（南京西南长江的小岛中），便按兵不动了。
刘牢之是眼睁睁看着历阳失守的，他顾虑消灭桓玄之后，司马元显会容不下自己，因而犹豫不决。
桓玄抓住刘牢之的心理，不失时机派刘牢之的族舅何穆前去游说：“从古至今，君臣能相互信任的只有燕昭王与乐毅、刘玄德与诸葛孔明，其他的莫不是鸟尽弓藏，兔死狗烹。文种、白起、韩信等人哪个不是英雄霸王之主，还不是落得个灭族的下场？与其如此，不如调转戈矛，保住自己的富贵。”
刘牢之于是决定倒戈。他的儿子刘敬宣、外甥何无忌及部将刘裕都劝他不要走这条路，刘牢之不听，理由是：“我今天要灭桓玄易如反掌，可接下来又如何对付司马元显呢？”形势发展到这一步，司马元显就只有束手待毙的份了。
刘牢之由政府军前锋变成了叛军的先头部队，他率领北府军冲禁军大喊一声：“放下武器！”司马元显的人马霎时间就溃散。
司马元显骑马跑回府里，身边只有张法顺一人一骑跟随。司马元显问他爹怎么办，司马道子只能对着他放声大哭，而捉拿他们父子的叛军也紧跟着冲了进来。
桓玄进入建康后，矫诏自命为总百揆，加侍中、都督中外诸军事、丞相、录尚书事、扬州牧，领徐州刺史；又加假黄钺、羽葆鼓吹、班剑二 十人。
紧接着就是清算司马元显父子和镇压异己分子了，桓玄命人将司马元显、司马尚之、庾楷等人斩首，流放会稽王司马道子到安成郡，随后将其毒杀。
至于刘牢之，则被安排外出做会稽内史，连京口也不让他回去了。
刘牢之长叹：“一上来就剥夺我的兵权，大祸要临头了！”于是又想造桓玄的反，召集部众讨论。
参军刘袭说：“将军早年反王恭，近日反司马元显，现在又要反桓玄。一个人一生反三次，这么没节操，何以立足于天地！”说完起身扬长而去，其他将佐随后也纷纷离他而去。刘牢之颜面尽失，又走投无路，找根绳子上吊了。刘敬宣与宗室司马休之等人逃奔了后秦。
清洗了司马道子一党，又去掉心头大患，桓玄就要践行他爹当年未竟的事业——登基称帝。
元兴二年（403年）十一月，桓玄让人写好禅让诏书后，拉着司马德宗来到大殿，又让命人捧出玉玺，禅位仪式就此完成。
桓玄于是筑坛告天，于十二月三日正式登位称帝，国号为楚，改封司马德宗为平固王，安置到寻阳（今江西九江）。好在司马德宗并不明白这些事，一切都由桓玄操办。刘牢之上吊自杀后，刘裕暂时投靠了桓玄，由于屡建军功，在北府旧部中有着很高的声望，桓玄也不敢小瞧他，就任命他为中军参军。
桓玄的皇后刘氏颇有点相人的本事，曾劝桓玄说：“刘裕行止有龙势虎志，看问题不同凡响，终不会久居人下，必须尽早除掉。”
桓玄却说：“我要荡平中原，非刘裕不可，等平定了关陇，再视情况而定。”与此同时，桓玄为消除隐患，打算解散北府军，处决一批北府军旧将，北府军面临着灭顶之灾。
而另一边，刘裕也在暗中搞串联，要利用手中这支劲旅，伺机推翻桓玄。元兴三年（404年）二月，刘裕以打猎为名，与刘毅、王懿、孟昶、檀凭之等聚集北府军残余兵将1700余人，在京口举义，杀死了桓楚抚军大将军、安成王桓修，举起了反对桓楚的大旗。占领京口后，众人推刘裕为盟主，传檄四方，各地纷起响应。
刘裕进展神速，进攻广陵，杀青州刺史桓弘，随后率兵直扑建康，沿途又杀死前来抵抗的骁将吴甫之、皇甫敷。
桓玄已经被刘裕及他的北府军吓得魂不附体，急忙召来一大批方士作法，试图以巫术对抗刘裕。他还问众臣僚：“朕会失败吗？”从事中郎曹靖之六神无主地问答：“神怒人怨，臣实在害怕！”
桓玄又急又气，命令征讨都督桓谦和侍中、后将军卞范之率兵2万出城御敌。桓谦的军队都害怕北府军，更害怕刘裕，还没开打就胆怯了，很快就被击溃。
桓玄在派桓谦等人抵抗刘裕时，已经打算跑路，并暗中命殷仲文备好了船只。听说桓谦等兵败后，于三月二日匆匆带着儿子桓升、侄子桓浚，在几千亲信的护卫下，从南掖门仓皇出逃。参军胡藩拉住桓玄的马缰绳说：“还有八百羽林神射手，他们都是桓家老部下，又是西楚人氏，就这样抛弃他们了吗？”
桓玄一言不发，只用马鞭指了指天，意思是说“听天由命吧！”一拍马直奔石头城，乘船西去。
三月初三，刘裕进入石头城，建立临时朝廷，安置百官，并派遣刘毅、何无忌与自己的弟弟刘道规追赶桓玄。尚书王嘏带领百官奉迎乘舆，又派人捉拿桓玄在建康的宗族成员。
刘裕本是个粗人，刚经历如此大事，一并交由刘穆之处置，刘穆之也不含糊，决策果断，又无不妥，由此成为刘裕的心腹幕僚。
从此，东晋实权牢牢掌握在二刘手里，他们一个主内，一个主外，随时都可以取消司马氏皇帝的名号，但他们没有轻举妄动，因为在那极讲究门第和出身的时代，他们还有很长的路要走，必须建立足够的功勋，打趴所有的对手（哪怕没有对手也要找一个出来）才让人们心服口服。而刘裕的拿手好戏就是能打仗，打胜仗。
三月五日，桓玄的代理司徒王谧因与刘裕是老交情，商议着推举刘裕代理扬州刺史，刘裕坚决推辞。刘裕反过来以王谧为侍中、代理司徒、扬州刺史、录尚书事。不久，又奉孝武帝司马曜从兄武陵王司马遵承制总揆百官行事。
五月十七日，桓玄在逃亡途中被何无忌、刘毅及刘道规追赶，双方在峥嵘洲（今武汉新洲区）打了一仗，桓玄焚毁辎重，挟持晋安帝司马德宗乘夜逃回江陵老巢。由于人心离散，桓玄在准备逃往汉中时被益州督护斩杀，时年36岁，首级传回建康示众。司马德宗在江陵复位。
不久，桓楚余党桓振又攻陷江陵，直到16个月后（405年三月）晋军才再次收复江陵，驱逐桓氏势力，迎晋安帝回建康，改元“义熙”。
就在这一年，刘裕派使团出访长安，向后秦皇帝姚兴严正提出归还此前趁东晋国内动荡时侵占的南乡、顺阳、新野、舞阴等淮北诸郡。姚兴很识时务，乖乖答应将淮北12郡全部归还了东晋。仅此一项，刘裕获封豫章郡公，食邑万户，获赏绢3万匹。
义熙四年（407年）正月，由于王谧去世，刘裕入朝商议继任人选，又获授侍中、车骑将军、开府仪同三司、扬州刺史、录尚书事、徐兖二州刺史，入掌朝政大权。
义熙五年（409年），新上任的南燕国主慕容超肆意侵犯淮北地区，俘虏阳平太守刘千载、济南太守赵元，驱掠百姓千余家。刘裕亲自率兵发起自卫反击，直捣南燕首都广固（山东益都县），灭南燕，把慕容超及其亲族数千人押回建康审判、斩首。
趁着桓玄作乱之时，攻占广州，割据岭南地区的卢循（孙恩妹夫，孙恩死后接任五斗米道叛军领袖），见刘裕带兵北伐南燕，国内空虚，遂率兵卒10万，战舰数以千计向建康扑来。刘裕亲率精兵赶回建康，不过，由于日夜兼程南返，士卒多有伤病，而且疲惫不堪。建康兵力也不过区区千人，尽管如此，卢循还是被打得一败再败，最终在逃回广州的途中被交州刺史杜慧度砍杀，随后收复广州。
接下来3年，刘裕先后消灭割据江陵的刘毅、割据成都的谯纵、割据襄阳的司马休之等，统一了整个南方地区。
义熙十二年（416年）刘裕率将军王镇恶、檀道济、沈田子等分五路，水陆并进，进攻后秦，沿途击败北魏10万重兵，收复了滑台（滑县）、许昌、洛阳等重镇。次年八月一举攻陷长安，后秦皇帝姚泓率群臣投降，后秦灭亡。
刘裕完成了一系列军事、政治措施，功高至伟，东晋朝也就没有存在的必要了。可当时社会上流传着一则小道消息：“昌明之后有二帝。”
“昌明”是孝武帝司马曜的字，也就是说司马曜之后还要经历两代皇帝，东晋才能灭亡。
对于这样的小道消息，信者会被其牵着鼻子走，一步步实现，它就变成谶言，如果不加理睬，它就是一文不值的谣言。但刘裕相信了，为了应验谶语，又想让皇帝换得快一点，刘裕只好让亲信王韶之买通晋安帝身边的工作人员，伺机弑君。
司马德文是傻皇帝的同胞弟弟，他日夜警惕地陪侍在司马德宗身边，就是担心哥哥被坏人所害。可就算是铁人，天天瞪大眼睛，神经高度紧张，也有受不了的时候。
终于有一天，司马德文累倒了。就在他出宫养病的某一天，王韶之等人潜入宫里，把晋安帝司马德宗给勒死了，时间是义熙十四年十二月，司马德宗时年37岁。随后让司马德文接任皇帝一职，是为晋恭帝，改元“元熙”。
元熙二年（420年）六月，刘裕已经迫不及待，命令亲信中书黄门侍郎傅亮草拟好禅位诏书，入宫让司马德文誊抄。
司马德文欣然接受，说：“桓玄篡位时，晋室已经失去天下了，因为有刘公，才延长了将近20年的国祚。今天做这件事，是心甘情愿的。”
两天后，司马德文退居到琅琊王府，百官向晋朝最后一位皇帝告别，东晋至此灭亡。
刘裕称帝建宋后，第二年，派人将司马德文毒杀，不久又下令将东晋宗室司马氏尽数诛杀，斩草除根。
