公元430年三月二日，刘义隆颁诏，挑选五万甲卒由右将军到彦之统领，准备北伐北魏。安北将军王仲德、兖州刺史竺灵秀率水军进入黄河，也归到彦之指挥。刘义隆还令骁骑将军段宏率八千精锐骑兵直指虎牢，豫州刺史刘德武率一万兵马随后进发，后将军、长沙王刘义欣率三万兵马担任北伐大军监征讨诸军事。刘义欣是刘义隆的堂兄弟，刘裕的弟弟刘道怜之子。

大军尚未出动，刘义隆先礼后兵，毕竟南北两朝一直通好。刘义隆派殿中将军田奇出使北魏，对北魏皇帝拓跋焘说道∶"黄河以南的土地本来就是宋国的领地，后来才被魏国夺得。现在只是恢复之前的疆界，并不牵涉黄河以北土地。"拓跋焘听罢大怒道∶"朕出生之时，头发尚未干燥，就听说黄河以南是魏国领地，岂能说是你们宋国的?你们宋国如果一定想用兵，朕将暂且避让，等到寒冬腊月，土地干燥、黄河结冰之时，朕将再来夺回。"

田奇尚未回到建康，刘义隆便开始部署备战。三月八日，刘义隆任前南广平郡太守尹冲为司州刺史，意在谋取司州。刘义隆再命长沙王刘义欣北上镇守彭城（今江苏省徐州市），以声援各路大军。

刘义隆的部署很快惊动北魏南部边防守将。诸将担心边防守兵不足，难以抵挡南朝北伐，便给皇帝拓跋焘上疏道∶"宋国已经戒严备战，即将入侵我国。恳请陛下增援三万兵马，在宋国尚未出兵之时，先发制人，以挫其锐气，让其不敢深入。"拓跋焘于是下诏，令冀州、定州、相州三个州修造舰船三千艘，挑选幽州以南驻屯之兵，集结于黄河北岸做好准备。

经过三个月的兵马征集与调遣，北魏与刘宋的大战即将开始。六月底，北魏皇帝拓跋焘派平南大将军、丹阳王拓跋大毗沿黄河驻防，命司马楚之前往黄河以南的颖川郡（今河南省许昌市 东）驻扎。拓跋焘还任司马楚之为安南大将军、封琅琊王。

当时，右将军到彦之已从淮河进入泗水，由于天旱水浅，每天才前行十里。从四月到七月，用时三个月，才抵达须昌（今山东省东平县西北）。到彦之从须昌进入黄河，然后开始逆流而上，一路西进。

消息传到平城后，拓跋焘突然改变了主意。拓跋焘认为黄河以南四重镇的守兵太少，不能抵挡南朝兵马，下令所有守兵全部北渡黄河。

到彦之沿黄河一路西进，抵达滑台时，留下司徒从事郎中朱惰之镇守滑台，再命司州刺史尹冲镇守虎牢。北伐各路大军进驻灵昌津（今河南省卫辉市东古黄河渡口），沿黄河南岸构筑营垒，一直向西到达潼关（今陕西省潼关县）。

北伐大军一路没有战斗即收复司兖二州，军中众将都大为喜悦，只有安北将军王仲德面有忧色。王仲德还对众将说道∶"各位将领对北方魏国不熟悉，一定会中其诡计。胡虏虽然缺乏仁义，但凶暴狡猾有余，现在胡虏撤退守军北归，必定为了保存实力。一旦黄河结冰，胡虏必将再度南下，岂能不以此为忧。"

王仲德的担忧果然有理，北魏皇帝拓跋焘很快就重整兵马，南下与南朝宋的北伐大军激战，以图夺回黄河以南诸城。八月，拓跋焘派冠军将军安颉督领各路兵马，准备反击到彦之。到彦之也不示弱，于八月十二日，派其副将姚耸夫北渡黄河攻打北魏的冶坂（今河南省孟州市西黄河北岸），跟安颉交战。冶坂一战，姚耸夫惨败，死伤众多。八月二十四日，拓跋焘再派征西大将军长孙道生前往黄河北岸，与丹阳王拓跋大毗会师，同防到彦之。

430年十月，到彦之沿黄河布防妥当之后，便回到东平郡驻屯。就在这时，北魏兵马开始反击，首先从西部打开缺口。十月二十二日，北魏冠军将军安颉从委粟津南渡黄河，然后一路向西南方向进发，攻打洛阳城东北的金墉城。当时的金墉城已经很久没有整修，南朝宋守兵又缺乏粮草，守城的建武将军杜骥弃城而走。

驻屯黄河南岸的南朝宋右将军到彦之担心北魏大军南渡黄河，先派副将王蟠龙逆流而上，以图夺取上游七女津一带的北魏大军的船只。北魏阳平王杜超率部击败并阵斩王蟠龙。此时北魏冠军将军安颉、龙骧将军陆俟又向西攻打虎牢（今河南省荥阳市西北），并于十月二十八日攻克虎牢。南朝宋的守将、司州刺史尹冲与荥阳郡（今河南省荥阳市）太守崔模向北魏大军投降。

西线重镇洛阳、虎牢相继丢失的消息传到建康，刘义隆决定再派征南大将军檀道济加入北伐大军。十一月十日，刘义隆任檀道济为都督征讨诸军事，统领北伐大军攻打北魏。而驻守在东线须昌（今山东省东平县）的北伐军前锋、右将军到彦之听闻洛阳、虎牢失守，而且诸军相继溃败，打算率部撤退。殿中将军垣护之写信劝阻到彦之不能撤退，并请到彦之亲率大军北渡黄河，攻打魏国领地。到彦之没有听从。

到彦之当时对北魏大军的反扑非常惊慌，恨不得早点离开。到彦之还打算将船只焚毁，徒步南撤，安北将军王仲德劝道∶"洛阳已经陷落，虎牢也已不守，这已是不可改变的事实。现在胡虏离我军尚有一千里，滑台还有强兵坚守，如果仓促丢掉船只南撤，士兵必定四散一空。末将以为，应当率领水军进入济水，等到达马耳谷（今山东省章丘市西南）时，再作下一步打算。"却说到彦之之前一直患有眼疾，现在愈发严重，而且不少将士也生起病来。到彦之决定按照王仲德所说的路线开始撤退。到彦之率领兵马从清口（今山东省梁山县东南）进入济水，不日抵达历城（今山东省济南市）。从历城上岸后，到彦之焚毁船只，丢弃盔甲，徒步南撤至彭城（今江苏省徐州市）。此时兖州刺史竺灵秀也放弃须昌，南撤至湖陆，导致青州、兖州一带一时陷入混乱。

到彦之、竺灵秀既已南撤，北魏大军便挺进青州境内。尽管南朝大军已经南撤，但青州的济南郡太守萧承之仍然坚守城池。萧承之传令将仅有的数百人马隐藏起来，并命人打开城门。北魏兵马看到济南城四门大开，担心城中有伏兵，竟然不敢攻城，带领兵马转攻他处。

北伐守将丢失城池、擅自南撤。刘义隆大怒，下旨将右将军到彦之、安北将军王仲德革职下狱，将兖州刺史竺灵秀斩首。刘义隆后来看到垣护之写给到彦之的书信，非常赞赏，传旨任垣护之为北高平郡（今山东省鱼台县）太守。

右将军到彦之的北伐算是失败而还了，再来看看檀道济的北伐情况。431年正月十五日，檀道济进入济水，逆流而上，准备援救滑台。北魏寿光侯叔孙建、征西大将军长孙道生得知这一消息，连忙率部前往抵御檀道济。十六日，檀道济抵达寿张（今山东省东平县西南），与北魏安平公乙旃眷率领的兵马遭遇。檀道济率宁朔将军王仲德、骁骑将军段宏奋起攻击，大破乙旃眷。檀道济接着转战至高梁亭（今地不详），又击败并斩杀北魏济州刺史悉烦库结。

二月，檀道济率部进入黄河，二十余日间，与北魏兵马前后作战三十多次，不断传出捷报。不久，檀道济大军抵达历城，北魏寿光侯叔孙建、征西大将军长孙道生率轻骑兵马出没前后，焚烧檀道济的粮草。檀道济的大军出现粮草不济，不能继续前行。由于檀道济不能尽快抵达滑台，北魏冠军将军安颉、安南大将军司马楚之等便得以专心攻打滑台。北魏皇帝拓跋焘又派楚兵将军王慧龙增援安颉。却说南朝宋坚守滑台的是司徒从事郎中朱惰之，数月下来，早已粮草用尽。朱俯之与士兵一同熏鼠而食。二月十日，安颉攻克滑台，俘虏守将朱惰之、东郡太守（今河南省滑县）申谟以及士兵一万多人。

再说南朝宋征南大将军檀道济粮草用尽，也开始从历城南撤。偏偏这时檀道济军中有一士兵逃往北魏，将檀道济缺粮一事报告给北魏将领。北魏将领立即传令追击檀道济，檀道济将士都非常害怕，随时都面临崩溃。在此危急之际，檀道济为了稳定军心、迷惑敌人，给后人留下一个"唱筹量沙"的故事。檀道济利用夜晚视线不明之时，命人统计粮草数量。当然檀道济根本没有多少粮草用来统计，便让人运来一堆沙子，在上面覆盖少量大米，然后开始计量。计量时还准备了不少筹码便于计数，每计量一次，檀道济便让人高声唱出筹码数字。檀道济一直计量到天明，尾随其后的北魏兵马远远看到后，断定檀道济粮草丰足，反而认为那位投降的士兵在说谎并将其斩首。粮草的问题是骗过了北魏将士，但檀道济兵马远远不足，仍会让北魏兵马敢于进击。檀道济又施一计，命将士们都披上铠甲，而自己身着白衣乘坐马车，率领兵马缓缓前行。北魏将士看到檀道济神色自若，怀疑周围一定埋伏兵马，便不敢靠近。檀道济最终全军而返。

南朝兵马已经撤退，拓跋焘也不想再动兵。可是这时安南大将军司马楚之送来奏疏，认为黄河沿线诸镇已平，正当大举讨伐宋国。拓跋焘认为兵马太过劳累，没有采纳。

长达一年的南北朝第二次大战就此结束。这场大战由南朝首先发起，先后由右将军到彦之、征南大将军檀道济出征，最终都以失败而告终。