从孝文帝末年占领南阳盆地，直接威胁南朝雍州襄阳，到南齐末年豫州刺史裴叔业叛降北魏、寿春落入北魏之手、北魏开始染指淮南，北魏在齐梁交替之际不论是在东线还是西线都已占据了良好的进攻位置，唯一前突至魏国国境的是南朝方面的义阳。义阳将北魏西线的南阳与东线的寿阳分割开来，使得北魏军队无论是东线或是西线都不敢大胆南下，因此，在齐和帝中兴元年萧衍与东昏侯鏖战之际，北魏源怀、元英、田益宗等人都纷纷建议宣武帝发兵南下。由于当时北魏国内矛盾重重，宣武帝没有采纳大举南侵的建议，仅仅同意了田益宗等人在义阳周边地区的军事行动。
当北魏朝廷还在犹豫之际，萧衍即迅速完成了占领建康、改朝换代、稳定政局几项常人需要几年才能完成的事业，机会已失，北魏大规模南侵的行动也暂时停了下来。不过，在双方边境地区并不安定，相继发生了一系列局部战斗，从这些零星发生的战斗来看，北魏是将着眼点放在中路的义阳，他们采取蚕食的办法逐一敲掉义阳周边的梁军据点，以进一步孤立义阳，为在不久的将来拔掉义阳做足功课。
而就在这时，深怀国恨家仇的南齐鄱阳王萧宝寅来到了洛阳，他恳请宣武帝发兵南下讨伐刚刚建立的梁国，与此同时，战败北逃的陈伯之也请求率军南下。在这种情况下，宣武帝召开了由八座、门下高级官员参加的会议讨论南伐事宜，最终定下大举南讨的决议。
四月一日，宣武帝任命萧宝寅为都督东扬州等三州诸军事、镇东将军、扬州刺史、丹阳公、齐王，交给他了一万军队，令其驻扎在东城（安徽省定远县东南大桥乡三官集）;任命陈伯之为都督淮南诸军事、平南将军、江州刺史，驻扎在阳石（安徽省霍邱县南），两军均受扬州刺史任城王元澄的统一指挥，等到秋冬季再大举南侵。宣武帝又允许萧宝寅自行招募各地豪杰，得到了数千壮士，以颜文智、华文荣等六人为将军、军主。
六月，北魏朝廷下诏征发冀、定、瀛、相、并、济六州二万人，马一千五百匹，命令仲秋之时全部集结在淮南，加上寿阳原有的三万部队以及萧宝寅和陈伯之的人马，均受元澄的指挥。
准备工作就绪之后，北魏朝廷又任命镇南将军元英为都督征讨义阳诸军事，率先从中路对南梁发起了进攻，梁魏之间的第一次较大规模的战争随之爆发。
南梁司州刺史蔡道恭听说魏军将至，赶紧派遣骁骑将军杨由率领城外三千多家居民逃往贤首山（河南省信阳市西南），建立了三座营寨。十月，元英率军包围了贤首山的营寨，营寨内的百姓任马驹斩杀了杨由，率众投降。与此同时，为了配合中线作战，东线魏军也发起了攻势。北魏扬州刺史元澄认为，东关水道要冲，大岘地势险要，一旦梁军在东关泄洪，那么，北魏占领的阳石、合肥就非常危急了;如果不占领大岘，那么，梁军就可以得到来自历阳的增援;另外，淮陵是陆路要道，九山是水路要冲，这几个要点均纳入魏军夺取的目标，任城王元澄命令统军党法宗、傅竖眼、王神念等将为先锋，分兵进攻东关、大岘、淮陵、九山;以高祖珍率领三千骑兵担任游击部队，元澄则亲率大军随后进发。
魏军王神念所部很快攻陷了南梁边境关要、颖川，斩杀了南梁军主费尼，而南梁宁朔将军韦惠、龙骧将军李伯由仍固守大岘。元澄即命统军党法宗、傅竖眼等军一起进攻，一举将大岘也拿下了，遂将白塔、牵城包围，数日之间，两座堡垒即行溃散，青溪要塞守军闻讯，也是望风崩溃。徐州刺史司马明素率领三千人马前去救援九山，徐州长史潘伯邻固守淮陵，宁朔将军王燮退保焦城。党法宗率领魏军攻克了焦城、淮陵，十一月四日，生擒司马明素，斩杀了潘伯邻。南梁济阴太守王厚强、庐江太守裴邃相继败退。
在魏军发起进攻之前，新上任的南梁太守冯道根率部驻扎在阜陵，他初来乍到，就下令整修城池，派出侦察兵深入敌境侦察，如临大敌，众人都对此感到好笑。冯道根却说∶"防守要像自己很胆怯那样处处小心，进攻时要奋勇杀敌，势不可当，正是现在的情况。"城墙还未修缮完毕，魏军党法宗等将即率领两万多人突然进至城下，众人都大惊失色。冯道根下令大开城门，身着便服登上城墙，挑选两百精锐部队主动出城，与魏军先头部队作战，将其击破。等到魏军大队人马到来后，看到这里的守军毫不惊慌，遂撤离而去。冯道根又率领一百骑兵追击魏军高祖珍所部，将其击败。南下各路魏军粮运不继，只好撤离。
从东线魏军的行动路线来看，魏军以萧宝寅所部占领东城，抵挡来自寿阳东南方向梁军的进攻;以陈伯之之军从西面南下，协助主力部队进攻东关;寿阳主力一部先行南下直指东关、大岘等据点，切断江南从历阳对淮南各个梁军据点的增援，在拿下上述据点以后，魏军主力向东北方向移动，朝白塔等地扑来，其目的就是切断钟离与东面之间的联络，完成对钟离的大包围。因此，这次战役，魏军的着力点有二∶一是东关;二是钟离。
东线魏军暂时北撤以后，中路魏军还在义阳周边地区与梁军缠斗。十一月。南梁将军吴子阳与魏军元英所部在白沙（河南省光山县西南）交战，梁军战败，被杀上千人。为了牵制魏军，梁朝鼓动北魏东荆州（治所为今河南省驻马店市泌阳县）境内的山蛮樊素安作乱，北魏朝廷以左卫将军李崇为镇南将军、都督征蛮诸军事，率军前去讨伐。
虽然魏军从长江沿岸北撤了，但魏军的攻势似乎并没有停歇的迹象。转眼到了第二年、即梁武帝天监三年（公元504年），这一年的年初，北魏宣武帝将年号改为正始元年。一月三日，南梁征虏将军赵祖悦与北魏江州刺史陈伯之所部在东关交战，梁军战败。九日，西线魏军东荆州刺史杨大眼率军进击山蛮，大破樊素安弟弟樊季安所部。
萧宝寅的南征大军行至汝阴（当在安徽省境内，今地不详）时，东城（安徽省定远县东南）又被梁军占领、于是，就在寿阳的栖贤寺驻扎了下来。二月十一日，南梁将军姜庆真趁着魏军倾巢出动、后方空虚之机，率军奔袭寿阳，攻下了寿阳外城。显然，这一着是梁武帝精心策划的避亢捣虚之计，梁军为此也做了充分的准备。梁军到来后，当地百姓纷纷响应，声势浩大，北魏扬州长史韦缵惊慌失措，无计可施，任城王元澄的母亲孟太妃亲自下令整顿军队，登上内城城墙，占据有利位置，激励文武将吏，安抚新旧百姓，她还冒着箭雨，亲自察看城防。在孟太妃的激励下，寿阳守军士气高昂，恰在这时，萧宝寅也率部赶来，与城内的魏军一起对梁军发起进攻。
两军从凌晨三点一直苦斗了一整天，直打到日落西山，梁军非常勇猛，战斗异常激烈。萧宝寅所部众寡不敌，退至金城（内城）苦战，稍事休息，他又率军出城迎战，姜庆真见无法取胜，只得退去。韦缵因此被免官。
此时的魏军主力在取得了东关等地战斗胜利后，已移师东进，试图拿下寿春东面的重镇钟离。梁武帝萧衍命令冠军将军张惠绍、彭瓮、张豹子等将率领一万人马向钟离送粮，元澄命令平远将军刘思祖等将截击梁军。二月二十日，他率领数千部队在邵阳截击梁军，另派遣长史元少率领一千骑兵在钟离北面阻挡梁军先头部队，录事参军缪琰率军掩袭梁军背后。刘思祖亲自率领精锐部队横冲梁军阵营，魏军三路合击，大破梁军，生擒梁将二十七名，俘虏斩杀了数千人。
此时，驻守在钟离的是南梁北徐州刺史昌义之。昌义之为萧衍旧将，梁朝建立后，被任命为盱眙太守，天监二年被晋升为假节、督北徐州诸军事、辅国将军、北徐州刺史，镇守钟离。魏军虽然击退了梁军的援军，但迟迟无法拿下钟离。四月，宣武帝下诏∶"如果钟离城内粮尽，三月之前肯定能够拿下，如果推迟到四月，淮河将要上涨，船行畅通无阻，对此要有充分的思想准备。前段胜利，确实是将军努力的结果，如果淮河上涨，难以攻下钟离，就要思量万全之计，不应贪图冒进，否则就后悔无及了。"
果然，天降大雨，淮水暴涨，元澄只好率军撤退。由于匆忙撤离，迷失道路，失散逃亡了四千多人。中书侍郎贾思伯为元澄的军司，负责殿后，元澄认为他是个儒生，肯定会被杀，等到见到贾思伯安全回来后，元澄大喜说道∶"'仁者必有勇。'在军司的身上验证这句话了!"由于先胜后败，元澄屡次上书要求辞职，但宣武帝没有答应。有关部门要求追究元澄的责任，最终剥夺了他开府仪同三司，又贬降了三级。梁武帝萧衍请求以魏军俘虏交换张惠绍，元澄上书要求北魏拒绝，宣武帝下诏命令交付"八座"会议研究。尚书令、广阳王元嘉等人上书称应该同意，北魏遂释放了张惠绍。
东线魏军的进攻暂告一段落，而西线战事依然没有停止。梁武帝派遣平西将军曹景宗、后军将军王僧炳等人率领三万步骑北上解救义阳。王僧炳率领两万部队进驻凿岘（河南省信阳市南曹店），曹景宗率领一万人马为后援。元英命令冠军将军元逞等人率军固守樊城（今地不详，疑为楚城之误，在今河南省信阳市西北苏楼村西）抵御，三月二十五日，魏军大破南梁军队，俘虏斩杀了四千多人。
此时的义阳已经被魏军包围了数月之久，城中守军不满五千人，存粮只够吃半年。魏军不分昼夜连续对义阳发起猛攻。恰在这时，守将蔡道恭的病情突然加重，于五月病逝。众将推举蔡灵恩代行司州刺史，继续坚守。
魏军听说蔡道恭去世的消息，又打消了撤退的想法，转而开始对义阳发起更为猛烈的进攻。面对岌岌可危的义阳城，梁朝增援部队曹景宗所部却顿军凿岘，迟迟不进，只敢派兵打猎、阅兵而已。曹景宗虽在萧衍夺取建康之战中立下战功，但此人利欲熏心，自从担任郢州刺史以后，只懂得聚敛财货，手下的士兵们也是非常骄横。
见曹景宗毫无作为，梁武帝萧衍心急如焚，又派遣豫州刺史、宁朔将军马仙埤率军北上，解救义阳之围。马仙理率领一万人马转斗而前，兵锋甚盛。北魏统军傅永对主将元英说∶"梁军远来，意在与我决战，士雅山（河南省信阳市南）地势险要，应当提前占领。"元英犹豫不决，傅永又说∶"机不可失，今日不去，等敌人占领后，后悔就来不及了。"于是，元英连夜在十雅山构筑堡垒，并派遣统军张怀等人在山下列阵防守，并命令众将在周围的山中埋伏，示弱于敌。第二天拂晓，马仙埤所部果然进抵山下，一战即击败了张怀等人，在士雅山上筑城的魏军也都狼狈而逃。
马仙埤乘胜率领一万余众直扑魏军围困义阳的长墙之下，掩袭元英大营，义阳城内也派军出城挑战。元英假装不敌，率军撤往平地，引诱梁军进入了伏击圈。傅永将一部兵力留给长史贾思祖率领，令其防守营垒，他则亲自率领一千多人南下迎战。等到梁军进入平地后，魏军傅永等三支伏兵突然杀出，时年七十的老将傅永身披铠甲，手持长矛，单人匹马，杀入梁军军中，只有军主蔡三虎紧随其后，横扫梁军军阵。梁军张弓搭箭，一箭洞穿傅永左腿，傅永拔出羽箭，再次返身杀入梁军，遂大破梁军。
马仙瑰又率领一万人前来挑战，元英又将其击破，阵斩梁将陈秀之。魏统军王买奴又击破梁军东岭之军，斩杀了五百余人。曹景宗、马仙瑰知道义阳行将陷落，集中全军的精锐对魏军发起了猛攻，一天之内大战了三次，但梁军均大败而还。义阳城内的蔡灵恩势穷力竭，自知已无力回天，八月十一日，他放弃抵抗，下令打开城门投降了。义阳南面三关守将听说义阳陷落的消息，也都弃城而逃。义阳三关即义阳西南的平靖关、黄岘关、武阳关。
义阳之战对于梁魏双方意义都非常重大。魏军得到义阳之后，就将淮河下游与南阳盆地连为一体，整个北魏国境整体南移到淮南，而对于梁国而言，失去了义阳，等于彻底失去了淮河防线。
