1949年4月，萧劲光率领四野先遣兵团率先南下，抵达鸡公山时接到上级宣布组建兵团的命令，以及领导班子配置，组建12、13、14、15兵团。

先遣兵团改为12兵团，司令兼政委萧劲光，第一副司令陈伯钧，第二副司令韩先楚，下辖40军、45军、46军。

40军军长由原政委罗舜初担任；45军军长陈伯钧兼任，46军军长詹才芳担任。

相比在前线的作战经验，陈伯钧虽然资历不低，但脱离作战部队实际太久，上级怎么让他兼任呢？

陈伯钧是开国将领中在，少有的文化人，曾经考入四川第四师范学校读书，在参加学生运动时，被开除出校，后报考黄埔军校武汉分校。1927年成为党员。

大革命失败后，参加起义，走上井冈山，成为代理连长。

在当时，他不仅是科班出身，而且有实战经验，有文化是部队稀缺的干部，职务提拔很快，担任连长、纵队参谋长。1930年就被任命为军参谋长兼纵队政委，后改为红3军师长。1932年，调任红1军军长。1933年，从瑞金红军学校毕业后担任红5军团参谋长，参加第四次反围剿作战。因左的路线影响，调任师长。

1935年，红一、四方面军会师后，调任四方面军红9军参谋长、红4军参谋长、，1936年调任二方面军6军团军团长。

1937年抗战爆发后，部队改编后担任120师359旅旅长，半个月就被调去后方干军训、统战等工作。1938年从党校毕业后担任抗大训练部部长，半年后担任抗大二分校校长。1941年离开二分校回到延安担任军政学院副教育长；1942年调任385旅担任副旅长。

此385旅，并非陈锡联领导的385旅。该385旅是抗战之初成立的385旅，但旅部与770团留在陇东驻守，陈锡联率领669团奔赴前线，后来扩编为385旅。此时有两支番号的部队，一个在前线一个在后方，陈伯钧所在的是后方，他协助旅长王维舟主持全面工作。

抗战结束后，被派往东北。途中经过冀热辽军区，差点留下担任冀东军区司令。东北局与东北军区不同意，调去军调部工作。全面内战后，调去东北军政大学教育长，合江军区司令几个月，又调任上干大队大队长。

1948年4月，担任原辽东军区司令部改编的第二前线指挥所副司令，协助萧劲光围困前线。在辽沈战役和平津战役时，虽然是前线将领，但没有参与多少指挥。

1949年4月，四野先遣兵团南下时，他跟着萧劲光一起南下。

他说上级让他兼任军长，是希望他多接近实际，多搞点工作，加强自身锻炼。过去虽然在部队任职，可十几年不在一线作战部队，很多东西较生疏，尽管自己参加辽沈、平津战役可在战役指导上见习，对部队建设、管理以及很多方面还差的很远，这是一个难得的机会。

这也解释了，上级为何突然让他兼任军长的原因。

随着部队解放中南，他也从作战部队调离，重新干军事教育，先后在南京军事学院、高等军事学院担任副院长、代理院长、院长等。