解放战争期间，粟裕和许多国军名将都交过手，其中最难缠的对手既非张灵甫也不是胡琏。张灵甫勇猛有余但谋略不足，将整编第74师这样的王牌部队带入了绝地孟良崮，最终兵败身亡；胡琏则是长于防守，但进攻能力很有限，整个解放战争期间，他鲜有攻城略地的表现。与张灵甫和胡琏相比，黄百韬是标准的杂牌将领，他的整编第25师不论武器装备还是老兵数量都不及整编第74师和整编第11师。

但黄百韬能攻善守，打仗从不耍滑头，而且友军有难的时候每次都是拼死救援。孟良崮战役期间，外围的许多国军高级将领包括李天霞和胡琏在内，为了自保，都不愿意出兵救援张灵甫。只有黄百韬拼死增援，差一点就突破了华野的阻击阵地；南麻战役期间，胡琏被粟裕率领三个纵队包围，眼看就要全军覆没，又是黄百韬拍马赶到，将他从华野的重围中救了出来。

豫东战役打响后，区寿年兵团被华野包围。蒋介石知道自己手下的这帮将领们大多数都是见死不救的类型，为此他特意发出重赏，称谁能够救出区寿年，就可以担任第7兵团的司令官。为了高官厚禄，国军将领们都开始卖力了。当时黄百韬身在胶东，距区寿年很远，但最终他却第一个赶到战场，并将区寿年的残部救了出来，还在帝丘店战役中给华野造成了一定的损失。

凭借着在此战中的神勇表现，战后黄百韬受到了蒋介石的亲自接见，不仅获得了一枚青天白日勋章还被任命为第7兵团司令官。一个杂牌出身的将领，却能力压胡琏和邱清泉等人出任兵团司令，足见黄百韬的能力之强，他也由此对蒋介石更加死心塌地。几个月后，淮海战役打响，为了打好这场战略大决战，蒋介石下了血本，投入了80万重兵，并打算让白崇禧出任总指挥。

白崇禧到徐州转了一圈后，认为国军的态势不利，而且担心自己指挥不动蒋介石的嫡系将领邱清泉等人，因此拒绝上任。蒋介石无奈之下，只得把刘峙推到了前台，他知道刘峙的能力有限，于是又紧急把杜聿明从东北调到徐州，给刘峙当副手。但杜聿明还未赶到，黄百韬兵团就在刘峙的错误指挥下被华野包围在了碾庄地区。早在淮海战役打响之前，身处新安镇的黄百韬就预感到了自己有被华野包围的危险，急忙向刘峙请求撤退。

一开始刘峙同意了，但就在黄百韬准备率部撤退的时候，刘峙突然改变了主意，要他在新安镇等待44军，并将该军划入了第7兵团建制。黄百韬久经战阵，知道在新安镇多呆一天就多一份危险，但刘峙将44军划给了自己，这样一来，自己手中就有了4个军10多万兵力。想到这里，黄百韬心中又有了一些底气。当时44军的驻地在海州，距新安镇并不算远，急行军的话一天时间差不多就可以赶到。

但就是这一天的路程，44军却足足走了三天，严重耽搁了撤退时机。1948年11月7日，44军终于赶到了新安镇，心急火燎的黄百韬立即率部撤退。粟裕得到情报后，当即号召全军：“不怕疲劳，不怕困难，不怕饥饿，不怕伤亡，不怕打乱建制，不为河流所阻，敌人跑到哪里，坚决追到哪里！全歼黄兵团，活捉黄百韬！”之后华野各部以每天120里的急行军速度拼命追赶，最终在碾庄地区将黄百韬包围。

黄百韬深知国军见死不救的陋习，因此他从被围后就给各军长下达了“准备独立作战，以尽军人天职”的命令，并声称要和我军“一个换一个地打下去”。最初华野预估三到五天就可以消灭黄百韬兵团，但很快就发现这场仗并不好打。碾庄地区原本是由李弥驻防的，他在这里修建了大量永备工事。黄百韬被围后，又对这些工事进行了改造，火力点更加隐蔽和密集，因此华野数天猛攻都未能取得太大的进展，还付出了不小的伤亡代价。

与此同时，华野的阻援部队也在徐东一带和邱清泉兵团、李弥兵团打的十分激烈。由于战况过于紧张，粟裕一连几天几夜都没有休息。他把担任主攻的6个纵队司令召集起来开会，叮嘱众人说切忌急于求成，更不能一味强攻，而应该加强对壕作业，隐藏接近敌人，将堑壕挖到敌人跟前再发起攻击，逐点争夺，逐个歼灭。之后华野进攻碾庄的部队开始奋力挖掘战壕和交通沟，大大缩短了出击距离，也减少了敌人火力带来的伤亡。

靠着纵横交错的战壕和交通沟，华野逐渐逼近了黄百韬兵团的核心阵地。此时邱清泉和李弥仍被华野的阻援部队挡在徐东地区，眼见败局已定，25军副军长杨廷宴劝黄百韬突围，黄百韬摇了摇头说：“我年纪大了，而且多病，做俘虏我走不动，而且难为情。我牺牲以后，使别人知道还有忠心耿耿的国民党人，或可让那些醉生梦死的人醒悟过来。你还年轻，尚有可为，希望你们突围出去，再为党国做点事。”

最终经过17天的苦战，国民党第7兵团全军覆没，黄百韬也在绝望中自杀。几天几夜没有休息的粟裕得知这个消息后，紧张的情绪骤然放松，加上劳累过度，忽然一下晕倒了。粟裕本来就有头疼病，发作的时候只能冲凉水来缓解。当时大家都不知道他头疼的原因，直到去世后，在他头颅的骨灰中发现了几块弹片，众人才明白了粟裕数十年来一直饱受头痛折磨的原因。

碾庄战役期间，由于黄百韬的死命顽抗导致战况十分激烈，粟裕几天几夜都未能休息，头疼病也发作了。但他一直在咬牙坚持，没敢向毛主席诉苦。毛主席一向对前线的将领十分关爱，如果知道粟裕带病坚持指挥的话，很有可能将他替换下来。粟裕知道碾庄战役的重要性，更想亲自消灭黄百韬这个难缠的对手，因此他没敢让毛主席知道自己的病情。

后来粟裕的妻子楚青在谈及淮海战役的时候，动情地说粟裕一生只紧张过两次，第一次就是在碾庄围歼黄百韬。时任华野副参谋长的张震在评价碾庄战役时这样说道：“全歼黄百韬兵团，是淮海战役取得胜利的一次铺底之战、关键之战。由此，切断了徐蚌线、孤立了徐州，我军牢牢掌握了淮海战役的主动权。”毛主席更是称粟裕为淮海战役第一功。淮海战役结束后，蒋介石的嫡系精锐几乎被消灭殆尽，失败的结局也由此注定。