第38军于1948年底由东北野战军第一纵队改编而来，首任军长由李天佑上将担任，编有第112师（原一纵一师）、第113师（原一纵二师）、第114师（原一纵三师）、第151师（原辽北独立第十师）共4个师。

在抗美援朝第二次战役中，第38军在第二任军长梁兴初中将的指挥下表现突出，获得了“万岁军”的称号，作为原第四野战军的主力部队，第38军是一支英雄的部队，其前身可追溯到由平江起义部队改编而来的红5军。

也正是因为它是一支英雄的部队，其部队番号历经多次裁军仍得以保留，共使用了近70年；建国前后全军先后组建了70个军，而之后全军又经过了多次裁军。至55年大授衔前夕，全军撤销了36个军，仅保留34个军；至85年，又撤销了10个军，仅保留24个军，并调整为集团军；至03年，又撤销了6个集团军，仅保留18个集团军；至17年，又调整为13个集团军。而第38集团军也即是在17年取消番号。

第38军历任军长中前六任均为开国将军，其中第六任军长李光军，则是于1964年晋升为少将军衔。李光军是江苏睢宁人，于1937年参加革命。

先是在徐州第五战区抗敌青年训练班学习，1939年加入八路军陇海南进支队担任连长，后又升任营教导员，1941年新四军重建军部后，李光军调往新四军第3师9旅（后划归第4师建制）26团第1营担任营长。

一营在李光军的指挥下打了不少胜仗，在朱家岗保卫战中，在子弹打光的情况，李光军指挥战士们用大刀、石头继续与日军战斗，一天之内打退了日军十余次进攻，为保卫淮北根据地作出了重大贡献。因为敢打硬仗，一营被誉为“钢一营”。

自1941年至1945年李光军担任一营营长有4年之久，至1945年8月抗战胜利后升任第26团副团长，一年后，时任第26团代团长的李光军集中优势兵力，仅用20分钟便全歼了鹿鸣山据点守敌，之后先后参加了宿北战役、孟良崮战役、淮海战役等。

至1949年初全军统编时，李光军已升任第三野战军第21军第63师参谋长，建国后，李光军先后担任第63副师长、师长，1953年初率领第63师入朝参加了金城战役。1955年授衔大校，时任志愿军第54军副军长。

1964年李光军被任命为第38军军长，也就是在这一年李光军由大校晋升为少将，之后李光军先后担任了武汉军区参谋长、副司令员。值得一提的是在李光军担任第38军军长的38年后，也就是02年，李光军的儿子李少军出任了第38军的第十六任军长。