在公元422年年底的时候，奚斤、公孙表、周几等人率领一万五千骑兵，对虎牢关发起了第一次试探性的进攻，北魏军在城东南五里扎营，然后从成皋朝虎牢关外城西门扑来，毛德祖率军出城迎战，斩杀了一百多人，北魏军仓皇逃回大营。年初，当进攻虎牢关的敌人分军西进，协同于栗碑清扫洛阳宋军的时候，毛德祖抓住战机，主动出击，多次与虎牢关下的北魏军交战，连战连胜。然而，等到洛阳陷落以后，奚斤所部回到了虎牢关下，此时，魏主拓跋嗣已经南下到了邺城（今河北省临漳县），北魏军将领为了在皇帝面前显摆，想在皇帝到来之前结束战斗，对虎牢关发起了越来越猛烈的进攻。

虎牢关的宋军情况变得日益危险起来，然而，刘宋司州刺史毛德祖不愧为一员身经百战的猛将，他命人在虎牢城内挖了两条地道，出城以后，两条地道又分作六条，这六条地道深达地下七丈，一直通往北魏军的包围圈以外，然后，他挑选出四百名敢死队员，由参军范道基率领二百名勇士为先锋，参军郭王符、刘规等人率领另外二百名勇士为后援，从地道中突出城外，掩袭北魏军的背后。攻城的北魏军腹背受敌，一片混乱，败逃而去，宋军斩杀了数百人，并将北魏军遗留下来的攻城器具全部烧毁，然后安全回城。

北魏军虽然退去，但很快就又集结了起来，重新对虎牢关发起更为猛烈的进攻。但是，虎牢关依然傲然屹立在北魏军面前!魏主拓跋嗣情急之下，从邺城抽调军队增援虎牢关的攻城部队。在猛攻关城的同时，为了阻止宋军增援部队北上，北魏军主将奚斤命令公孙表守卫辎重，而他自己则率领步骑三千南下，进攻刘宋颍川太守李元德驻守的许昌。当时，车骑参军王玄谟率领一千余人协防许昌，在北魏军的偷袭下，李元德、王玄谟均战败南逃。魏主任命当地人庾龙为颢川太守，留下五百名骑兵，并征发当地百姓，为魏国戍守许昌。据《魏书·奚斤传》称，“太宗怒其不先略地，切责之。”由此可知，北魏军在虎牢进攻受挫，也让拓跋嗣在战略层面上发生了动摇，奚斤是在他的严厉督促下才分军南下“略地”的。

趁着奚斤南下，毛德祖主动出击，与公孙表的留守部队展开激战，战斗从早晨一直打到午后，宋军杀伤北魏军数百人，恰巧奚斤所部从许昌前线回来，两下夹击，毛德祖大败，宋军被斩杀了一千多人，于是，毛德祖再次固守不战。奚斤在虎牢关迟迟不下的情况下，进攻许昌，其目的就是切断虎牢关与刘宋江南的联系，使虎牢关宋军彻底成为一支孤军。

在前线激战正酣之际，魏主拓跋嗣又派遣一万多人从白沙口（今地不详）渡过黄河，在濮阳城南的寒泉构筑堡垒，为他下一步渡河做前期的准备工作。

毛德祖在北方的时候，曾经与公孙表是好朋友。因此，毛德祖想出了一条借刀杀人之计。他先是给公孙表写信，畅叙旧情，又秘密让人给奚斤透露二人暗中来往的消息，诬陷公孙表欲图谋不轨。毛德祖在每一封回信上，都故意在很多地方进行涂改。当奚斤问及此事时，公孙表交出毛德祖的回信，奚斤看到书信被涂改得一塌糊涂的书信，不禁心生疑窦，遂秘密向邺城的拓跋嗣作了汇报。这时，始昌子苏坦、太史令王亮也上书拓跋嗣称，公孙表将部队驻扎在虎牢关以东，方向不对，故意让敌人苟延残喘。拓跋嗣素来笃信术数，他想到公孙表坚持要攻城，却迟迟没有进展，士兵伤亡惨重，他一怒之下便命令武士深夜在公孙表的大帐中将他勒死。公孙表死时六十四岁，拓跋嗣考虑到尚未撤军，对公孙表的死讯秘而不宣。

三月十八日，魏主拓跋嗣从灵昌津（今河南省卫辉市东南古黄河上）渡过黄河，前往东郡（今河南省濮阳县）、陈留（今河南省开封市西北）巡视。

当时刘宋朝廷的执政大臣们认为，项城距离北魏军太近，宋军的轻装部队无法与北魏军抗衡，命令豫州刺史刘粹将高道瑾从项城召回到寿春（今安徽省寿县），如果沈叔狸已经率部前突，也应予追回。刘粹上书说∶"敌人正在进攻虎牢关，并没有再继续南下，如果匆忙撤回项城驻军，那么，淮河以西的郡县都会失去依靠。目前，沈叔狸已经驻扎在了淝口（今安徽省东淝水汇入淮河河口），也不应该撤退。”当时，颖川太守李元德带着两百多名散兵从许昌退到了项城，于是，刘粹建议让其戴罪立功，协助高道瑾防守项城，朝廷最终也都同意了。不久，刘粹命令李元德率部西上，偷袭北魏任命的颖川太守庾龙，又收复了许昌。

此时的魏主拓跋嗣将注意力全部集中到一个点上，那就是虎牢关。三月二十七日，也就是李元德夺回许昌的同一天，拓跋嗣来到了孟津（今河南省孟州市），他对洛阳守将于栗碑说∶“黄河之上能架桥吗?”于栗碑回答∶“杜预架桥，他的事迹也足以令人怀念。”于是，他将大船串成一串，在黄河之上的冶阪津（今河南省孟州市境）搭建了一座浮桥。三月二十八日，拓跋嗣率军北渡黄河，来到河内郡（今河南省沁阳市）。在那里，他派遣并州刺史伊楼拔率军南下，协助奚斤攻击虎牢关。毛德祖依然固守着虎牢关，杀伤了很多北魏军，而宋军将士也因伤病损失了不少。

其间，拓跋嗣不仅抽调并州刺史伊楼拔协助进攻虎牢关，填塞了城外两道壕沟。在四月份的时候，拓跋嗣本人还亲自到成皋，切断了虎牢关的水源，并亲自到关下督战三天，却依然无法攻下，于是，他只好又给奚斤增加了三千人马，继续攻城，自己则前往洛阳观看蔡邕写的石经，并派使者前往嵩山祭祀，然后，他北渡黄河，翻越太行山，驾临高都（今山西省晋城市）。途中，他命令西撤至滑台的叔孙建率领东路军赶到虎牢关，与奚斤一同进攻虎牢。

虎牢关被北魏军围困了二百多天，每天都在战斗，城内的精兵猛将伤亡殆尽，而北魏军却越来越多。在北魏军的猛烈进攻下，虎牢关的外城城墙坍塌，毛德祖又在内城里构筑了三道城墙，北魏军又将其中的两道占领。毛德祖率领的宋军仅仅固守着最后一道城墙，北魏军不分昼夜连续发起进攻，刘宋军将士双眼都熬得生疮，但毛德祖以恩义相结，将士们始终没有离叛之心。当时，檀道济所部驻扎在湖陆，刘粹所部在项城，沈叔狸所部在高桥（今地不详），都惧怕北魏军强大，不敢前去救援。

虎牢城内缺水，刘宋军垂下长绳从黄河里汲水，拓跋嗣发现以后，命令黄河之上的北魏军舰队连接起来，将刘宋军的汲水水岸全部填埋，切断了刘宋军的水源，但是，刘宋军城内尚有水井，闰四月二十一日，围城里的北魏军开始挖地道，引出井水。虎牢城内井深四十丈，山势陡峭，用水不足，城内开始断水，人马既渴又乏，受伤的人伤口不再流出鲜血，再加上饥饿、伤病，而北魏军又趁机发起了猛攻，到闰四月二十三日，虎牢城终于被北魏军攻陷。将士们扶着毛德祖逃走，毛德祖说∶“我发誓与此城共存亡，大义所至，绝不能城陷而我毛德祖还活着!"毛德祖的忠勇，也令敌人钦佩，魏主拓跋嗣下令必须将毛德祖活捉，因此，毛德祖一直没有在激战中被杀。

魏将豆代田是一位神射手，在虎牢关前，魏主曾让他登上高楼，向城内射箭，箭无虚发，射杀了很多刘宋官兵。后来，他与奚斤的先锋部队率先攻入城内，活捉了毛德祖和长史、司马三人。此战，北魏军除了俘获刘宋冠军将军、司州刺史毛德祖之外，还俘获了荣阳太守翟广、振武将军姚勇错、建威将军窦霸、振威将军吴宝之、司州别驾姜元兴、治中窦温等勇士，城内刘宋军将佐只有上党太守刘淡之、参军范道基率领二百多人突出重围，回到南方。而北魏军士兵因疾病、杀伤的也有十分之一二。至此，河南郡（今河南省洛阳市）、颖川郡（今河南省许昌市）、陈郡（今河南省项城市东北）等地百姓也都纷纷投降魏国，北魏军占领了河南的大部分土地，奚斤又将司马楚之率领的部众分头安置在汝南、南阳、南顿、新蔡四郡。

虎牢关的陷落，标志着宋魏之间第一次大规模战争的结束，在这场战争中，北魏军以夺得黄河南岸滑台、碻磝、虎牢、洛阳等战略据点而告终，此战以后，北魏势力越过了黄河，深入到河南中东部、山东西南部一带，到这一年的年底，双方还就许昌进行过争夺，最终北魏军攻陷许昌、汝阳，又攻破邵陵县（今河南省漯河市郾城区），残害两千余户，尽杀男丁，掳掠妇女一万两千人。毁掉了许昌和钟城，立下界碑而去。其后，北魏军在黄河以南以洛阳、虎牢关、滑台、枋头（今河南省浚县西南）、碉碱为据点，占领了黄河南岸东起青州西部，西至洛阳的青州、兖州、豫州地区，刘宋王朝丧失大约七万平方公里的土地。

此战，刘宋军以绝对的少数兵力固守据点，杀伤了大量北魏军，由于刘宋王朝并没有全力增援，致使猛将毛德祖死守虎牢关长达两百天，以一孤立之城抵御北魏倾国之力，杀伤了大量敌人，最终兵败被俘。对于刘宋朝廷没有全力北上增援的个中缘由，史书闪烁其词，一是朝廷内部矛盾重重。宋少帝继位以后，因在服丧期间而将政权全部交给辅政大臣，而宋少帝与辅政大臣之间有着很深的隔阂，双方的矛盾一触即发；另外，宋少帝的二弟庐陵王刘义真与辅政大臣们也有很深的矛盾，不可能全力北援。

二是刘裕北伐关中丧败以后，元气大伤，河南地区本属于羁縻状态，只是因为刘裕健在，赫连夏军和北魏军不敢进攻而已，其实，刘宋最高层似乎已经早已确定了“划淮为治”的决策。刘宋王朝在战后，褒扬了竺夔、阳瓒等人，唯独对毛德祖熟视无睹，没有任何表示，直到公元457年，也就是此战三十五年以后，刘宋王朝才下令让毛德祖的侄孙继承毛德祖的爵位。仅此而已。