1948年11月初，淮海战役打响。为了打好这场战略大决战，蒋介石投入了80万重兵，比华野和中野加起来的兵力还多了20万。但在刘峙的错误指挥下，国军的兵力优势没能发挥出来，反而在开战不久就陷入了被动局面。先是黄百韬兵团被华野包围在了碾庄地区，接着黄维兵团又被中野包围在了双堆集。

当时中野刚刚从大别山转出不久，参战的总兵力只有12万人，和黄维兵团基本持平，而且武器装备还严重不如对手。尽管廖运周起义打乱了黄维的突围计划，但中野仍无力将包围圈中的敌人吃掉，只能向华野求援。粟裕命令陈士榘率领三个纵队的兵力赶到双堆集，加入了战场，这才将黄维兵团全歼。

陈士榘参战的时候，陈毅和粟裕就叮嘱过他，缴获的战利品连一块纸片都不能带走，要全部留给中野。黄维的第12兵团是一个重兵集团，下辖的四个军当中有三个军都是陈诚土木系的精锐，装备全都是美械，剩余的一个军是何应钦的部队，装备一半是美械，一半是日械。

双堆集战役结束后，中野缴获的战利品堆积如山，光火炮就有870多门，部队的火力因此得到了极大的增强。除了这些战利品之外，中野还在战场上抓获了将近5万名俘虏，经过教育改造后，这些俘虏兵大多数都参加了解放军。之后中野为了应对即将举行的渡江战役，又将一些地方部队升格为主力，同时还吸收了一大批青壮年参军入伍。

到1949年2月的时候，中野的野战部队已经达到了28万人，并奉命改称第二野战军，下辖第3、第4和第5三个兵团。当时二野战将如云，能打的人很多，但兵团司令只有三个人，该选谁来担任一时间成了难题。刘伯承掰着指头数了三个人，唯独落下了这员悍将。

刘伯承最先确定的一个人选就是陈赓。陈赓的资历非常老，战功也很大。二野的前身可以追溯到八路军129师，而129师又是由四方面军的第4军和第31军为主改编而成的。红军时期陈赓担任过四方面军的参谋长，八路军129师成立后，他又担任了386旅的旅长；解放战争时期，他担任过中野陈谢兵团的司令，是中野所有战将中第一个担任兵团司令的人。

不论资历、职务还是战功，二野三个兵团司令当中，陈赓必定要锁定一个席位，也是最无争议的。剩下的两个兵团司令人选，刘伯承考虑从王近山、杨勇和陈锡联三人当中产生。这三个人当中，以王近山打仗最为勇猛，中野的许多大仗和恶仗都是由他担任主攻，血战大杨湖就是最经典的代表。

打仗勇猛，又是四方面军出身，按理说王近山应该锁定一个兵团司令的席位。但他打仗过于勇猛，谋略方面稍微有点欠缺，因此刘伯承经过仔细权衡后，把另外两个兵团司令的职务给了杨勇和陈锡联。抗美援朝战争爆发后，王近山出任志愿军第3兵团代司令，率部参加了第五次战役，所属60军180师在回撤途中遭受了重大损失，王近山负有一定的责任。

不久后白马山战役打响，新任38军军长江拥辉决定对敌人发动突然袭击。不料就在战斗即将打响的前三天，谷中蛟叛变投敌，泄露了38军的进攻计划。江拥辉请求提前或延后发起白马山战役，但遭到王近山的拒绝，并说：你拿这么大一把牛刀杀鸡，还哆嗦？最终白马山战役按时发起，38军和敌人激战数个昼夜不仅未能拿下白马山，还付出了将近7000人的伤亡代价。

以此来看，王近山在指挥大兵团作战方面，的确是有所欠缺的。这也从另一个侧面说明了刘伯承用人确实有独到之处。其实在考虑二野三个兵团司令的人选时，刘伯承还落下了一员悍将，他就是担任过中野二纵司令的陈再道。陈再道是四方面军出身的猛将，红军时期立过许多战功。红军改编为八路军后，他出任129师386旅的副旅长，是陈赓的得力助手之一。

1938年，陈再道被派往冀南独当一面。在短短三个月的时间内，他就将部队从500人发展到了10000多人，并成功创建了冀南抗日根据地。解放战争爆发后，陈再道先是担任冀南纵队司令，率部参加了上党战役，不久后出任中野二纵司令，跟随部队参加了千里跃进大别山和淮海战役等战役战斗，立下许多战功。

那么刘伯承在考虑二野三个兵团司令的人选时，为何落下了陈再道呢？与他在羊山集战役中的表现有关。1947年7月下旬，中野在挺进大别山的途中在羊山集和宋瑞珂的整编第66师爆发了激烈的战斗。陈再道指挥两个纵队的绝对优势兵力没能拿下羊山集，部队还付出了一定的伤亡代价。

此时敌人的援军也已经逼近战场，刘伯承临阵换将，让陈锡联代替指挥，这才拿下了羊山集。在之前的郑庄寨战斗中，陈再道的2纵就因为指挥问题导致主力16团遭受重大伤亡，英雄团长宋东旭还不幸牺牲。这次羊山集又没能打好，说明他在指挥大兵团作战方面还是有所欠缺的。因此刘伯承在考虑二野三位兵团司令的人选时，才落下了陈再道。但后来陈再道的成就也很大，担任过武汉军区的司令员。