在三野部队中，刘少卿显得有些“失意”。自1948年兖州攻坚战后，他就离开部队，离开战场，因为身体不适，也给他军事生涯提前画上句号。

1945年1月之前，他曾经是新四军5师参谋长，1月以后离开5师去延安汇报工作时，师参谋长已经换人，最终因为黄河阻隔而没有抵达延安，在豫西战斗一段时间后，跟着王树声与5师会师。

抗战结束后，尽管中原军区成立，他并没有担任具体职务，严格来说是帮忙。随着停战协定生效，去了北平军调处。当时很多参谋长都被抽调到军调执行小组工作。

当中原突围后，内战爆发辗转延安，又要去去东北，结果去华东。

在华东担任一段时间军分区司令员后，被调任新成立的山东兵团当参谋长，参加保卫胶东作战，部队打得很不容易。1948年，部队发起的作战规模越来越大，因黑热病被调去后方休养。这个病在当时的医疗条件下需要静养，然后结合药物等。短时间内好不了，叶飞也在同一时期患上，休养大半年。刘少卿休养三四个月，错过济南战役，当淮海战役时，身体也有些许恢复，到地方帮忙。

济南战役是许世友指挥的，如果他没有离开，会在许世友身边做一个好参谋长的，也可能在接下来的淮海战役中担任其他职务。或许就不会在1952年评级时，只是准军级了。

1948年的两大战役都没赶上，转眼到1949年，淮海战役结束，部队一边休整，一边采取措施发起渡江战役。部队在1949年2月改编为三野，陈老总见到他，问他愿不愿意担任兵团参谋长，因为过去在山东兵团就担任参谋长，等于职务不变。

根据多年参谋长工作，他似乎有些想法，希望带兵打仗。

战争年代很多干部，在后方与前线，更多选择前线；在前线愿意干军事工作还是其他工作，更多人愿意干军事工作。军事工作也有分工，参谋长就是负责军事，可职责在司令部；想干军事工作的都希望带兵打仗，刘少卿也不例外。

上级得知他的想法后，给他一个期待，结果兵团成立，纵队改编为军，军长名单没有他。前线部队发起渡江战役后，为安排他，临时给一个职务率领南下干部到指定地方。

各路部队相继解放江苏、上海、浙江等，到上海后，上级问他是否愿意担任兵团参谋长，依然是拒绝，他希望干军事，但副军长也行，可上报后没有同意。

就这样，兵团参谋长没有当上，军长、副军长也没有希望。

当上海解放后，给他一个铁路公安局长到职务，铁路系统的工作，无非是维护治安等，干一段时间要去离开，去华东局当副秘书长。