公元404年1月1日，桓玄正式称帝，国号楚。

不过皇帝的位子也不是好坐的。恒玄这边还没坐热，刘裕就在自己的老家京口率领一批北府兵旧将聚众造反，而刘毅、何无忌等人也在各地纷纷响应，并推举刘裕为盟主。刘裕很快显示出自己的政治手腕，向四方发出一篇慷慨激昂的檄文，声讨桓玄的罪状，说桓玄的罪恶超过了当年篡位的王莽、董卓，又夸张地宣布了反恒势力的一片大好形势。这篇檄文在当时确实起到了收买人心、震慑人心的作用。

仅仅一天，一支一千七百余人的军队已经在京口组建起来。并在刘裕指挥下挥师西进，推进到竹里（今江苏句容北）。他们的人数虽然很少，但几乎全是由在战场上如狼似虎的北府老兵组成。

在几百年后的南宋，当一代词雄辛弃疾走到当年刘裕起兵的京口，感慨万千、写下了著名的诗篇《永遇乐·京口北固亭怀古》，其中有这么两句，说的就是刘裕∶"斜阳草树，寻常巷陌，人道寄奴曾住。想当年，金戈铁马，气吞万里如虎。"

而此时的恒玄却失魂落魄，手足无措。恒玄身边众人都认为刘裕兵力甚弱，不足为惧，不过是临时凑起的一群乌合之众。桓玄却说∶"刘裕英雄盖世，堪称一代帅才。跟他一起起义的刘毅是个亡命之徒，连饭都没得吃的时候，赌博的时候却敢下百万的赌注，何无忌是一代名将刘牢之的侄子，这三个人聚在一起，后果不堪想象。"

果然，当年三月，刘裕就斩杀了桓玄两名骁将吴甫之、皇甫敷。二将战死的消息让桓玄惶恐不安，派遣桓谦等率兵二万进驻建康城外的覆舟山以阳刘裕军。刘裕命令部下吃饱以后，把剩下的粮食全扔了，颇有当年韩信背水一战的气势。在此激励下，全军怀着决一死战的态势，进至覆舟山。刘裕又派遣那些羸弱的士兵爬到山上遍插旗帜，迷惑敌军。桓谦的士兵多为北府兵，一向畏惧敬重刘裕，毫无斗志。

刘裕把士兵分成几队，突击桓谦军。这时，刮起了东北风，刘裕命令全军顺风纵火，刹那间风助火势。烟雾弥漫，向楚军方向席卷而去。

在强烈的攻势面前，桓谦大败，桓玄不敢再战，乘船西逃。

后来，桓玄在西逃过程中，被益州都护冯迁所杀。406年三月，刘裕迎回安帝复位。为奖励刘裕再造晋室之功，刘裕被封为侍中、车骑将军、都督中外诸军事，从此掌握朝政。

东晋偏安江南以来，一直面临来自北方的威胁。祖逖、庾亮、殷浩、桓温都曾先后北伐，但无一成功。公元 409 年，南燕君主慕容超兵肆虐淮北，掳去东晋两郡太守及百姓千余家。刘裕因此上表要求北伐。同年三月，刘裕挥军北进，讨伐南燕。

从琅邪经大岘山（山东沂水北），直捣临朐、广固，是北伐的捷径，但是，这条道十分险峻，必经之路穆陵关，仅能容一辆车的宽度，有"齐南天险"之称。很多人十分担心，对刘裕说∶"如果燕军派人把守大岘山隘，同时坚壁清野，我们贸然前往，不仅不能完成北伐的任务，很可能抛尸荒野。"刘裕却胸有成竹地说;"鲜卑人目光短浅。只图眼前利益。他们以为我们远道而来，十分疲惫，且粮草供养有问题，肯定不能与他们持久对抗。我敢打保票，他们肯定采取进则守临朐，退则守广固的方法，绝对不会守险清野。"

果然，刘裕率军越过大岘山隘，南燕并未派兵把守，大军如下山猛虎一般直扑燕都门户临朐（山东掖县）。刘裕以奇兵直取了临朐。接着，晋军攻占广固外城，刘裕一边修筑长围，一边采取分化瓦解之策，招降纳叛，同时，晋军的北伐，让在鲜卑残暴统治下的各族老百姓非常高兴，纷纷向晋军提供支援，南燕民众每天背负着粮食前来归附刘裕军的不下干人。公元410年二月初五，被围8个月之久广固被攻克，慕容超被生俘，送至建康斩首，南燕灭亡。

南燕刚刚灭亡，此时被招安为广州刺史的卢循和他的妹夫徐道覆率部又叛刮，徐道覆率军从赣江顺流而下。北府名将何无忌迎击，兵败溃散。

何无忌阵亡，朝野震惊，大臣们甚至打算保护皇帝北上去刘裕军中。刘裕急忙率领数十亲随昼夜兼程赶到建康，东晋朝廷这才安定下来。但是，刘数妒总刘裕功大。不听刘裕劝说。饼然率领驻刊在建康的于力车出战。结果大败于桑落洲，几乎全军覆没。从而造成偌大建康只有几千守军，且多为北伐归来的疲惫之师。而卢循军达到十几万，舟车绵延百里，楼船高十二丈，军势浩荡，这是刘裕对敌交战史中力量悬殊最大的一次。刘裕也不禁大惊失色。然而，刘裕拒绝了大臣逃跑的要求，增修堡全。加强防御，同时派军进攻卢循的后方根据地番禺。

卢循看到建康久攻不下，又知是刘裕守城。不敢再战。逐分兵略地。自已转进江西;分兵攻江陵的徐道覆被刘裕之弟刘道规击败。刘裕见叛军势弱。亲自率领大军攻击卢循，在大雷附近的江面上展开大战。刘裕派轻舟攻击卢军的大船。又用伏兵火攻。卢循大败逃走。卢循一路被刘裕的追兵连败，逃到交州，终被交州刺史杜慧度击败，投水而死。

公元412年，刘裕出兵讨伐刘毅。刘毅兵败自杀。随后，刘裕又相继平定了诸葛长民、司马休之等军事集团。内部平定了，刘裕又派朱龄石前去平定了刚分裂没有多久的西蜀谯纵割据政权。

自此，刘裕消灭南方各大割据势力，统一南方，后方算是完全稳定下来了。实现了东晋南朝史无前有的大一统。刘裕个人被加封为太傅、扬州牧，可以享受"剑履上殿，入朝不趋，赞拜不名"的待遇。在古代，臣子拜见君王必须必须取下佩剑、脱鞋入席，小步快走，自报职务姓名。而刘裕见皇上却可以免去这些礼节。这种待遇可是位极人臣的大员才有资格享受的，汉初名相萧何就享受过这个待遇，但自曹操代汉以后，这三种待遇往往是权臣篡位的前兆。