1955年新中国首次实行军衔制，然而在新中国成立之前，我军曾三次酝酿实行军衔制。
第一次军衔制的酝酿
中国人民解放军诞生于1927年的南昌起义，红军时期“从军长到伙夫，除粮食外，一律吃五分钱的伙食。发零用钱，两角即一律两角，四角即一律四角”。1937年“卢沟桥事变”之后，日本全面侵华，为了抗击日本侵略者，国共双方实现了第二次合作。
第二次国共实现之后，陕北的工农红军改编为国民革命军第八路军（后根据国军战斗序列改为第十八集团军），简称“八路军”、南方八省的红军游击队改编为国民革命军陆军新编第四军，简称“新四军”。八路军和新四军都属于国民革命军战斗序列，部分将领还被授予了军衔，如国民革命军第二战区副司令长官兼第18集团军总司令朱德上将、新四军军长叶挺中将……1939年4月朱德和彭德怀致电中央军委、总政治部并中央书记处提出“部队日益扩大，正规军各种制度亟待解决。拟照国民革命军编制区分，规定部队中各级干部之等级，这可兴奋干部，职责分明，于我军传统亦无损害”。毛主席及王稼祥复电同意规定干部的等级，同年5月朱德、彭德怀以八路军总部的名义颁发了《建立等级制度的训令》。随后，八路军颁布了《八路军编制表》，明确规定了各级职务的基准军衔。此次拟定的军衔为六等十六级，具体如下：
将官：上将、中将、少将；
校官：上校、中校、少校；
尉官：上尉、中尉、少尉；
准尉；
军士：上士、中士、下士；
兵：上等兵、一等兵、新兵。
佩戴中将军衔的叶挺
1939年8月中央军委发出了《重新规定部队等级制度的指示》，该指示要求在评级时“不迁就国民党的制度，按照我军之特殊性质……军政干部的关系，应按红军的政治工作条例的规定；应使官阶与资格相称；战斗员中不宜分等级……”。根据以上指示八路军和东北抗联进行了评衔工作，随着敌后战场地位的提高，受当时物质条件的制约，评衔工作进展缓慢。到了1942年，日军对我抗日根据地进行了“大扫荡”，并实行“三光”政策，蒋介石也掀起了反共高潮，致使抗日战争进入了最艰苦的阶段。鉴于此，中共中央发出了《军队中暂不规定等级军衔》的指示，第一次军衔制不得不中止。
第二次军衔制的酝酿
1945年日本宣布“无条件”投降之后，国共之间的矛盾不断。为了避免国共内战的发生，美国总统杜鲁门派五星上将马歇尔将军来华进行军事调停。国、共、美三方各派一名代表组成军事三人小组（国民党代表张治中、共产党代表周恩来、美国代表马歇尔），同年12月，在北平成立军事调处执行部（简称“军调部”）。军事调处执行部设首席代表三人，代表也由国、共、美三方各派一人组成。军调部下设38个执行小组，这些小组的任务是禁止国共双方军队的战斗接触、停止内战，从而促进国共和平谈判。
1946年1月，国共双方签订了《停战协定》，之后又通过了《政协决议》。1946年2月，中共中央在《关于军队整编的若干问题的指示》中指出：“我党军事干部应该请求政府加委，取得正式官衔，以便将来在国防部占有一定地位”。为此，中共中央决定我军再次实行军衔制。这次拟定的军衔等级与1939年一样，仍然是六等十六级，唯独变化的是将兵中的新兵改为二等兵。
军调部佩戴中将军衔的叶剑英
《关于军队整编的若干问题的指示》下达之后，新四军和山东军区政治部发出了《军队官兵阶级说明与规定》，对新四军的军衔等级作了明确规定：
新四军军长、政委为上将衔；
副军长、副政委为上（中）将衔；
参谋长为中将衔；
师长、师政委，军区司令员、政委为中将衔，副职及参谋长、政治部主任为少将；
旅长、旅政委，军分区司令员、政委为少将衔，副职及参谋长、政治部主任为上校；
团长、政委为上校，副职及参谋长为中校；
营长、教导员为少校，副职为上尉，特种兵提高一级；
连长、政指为上尉，副职及资深排长为中尉，排长为中尉，司务长为准尉；
副排长为上士，班长为中士，副班长为下士；
战斗小组长、司号员、卫生员为上等兵；老战士为一等兵；新战士为二等兵；
司、政、供、卫机关干部的军衔等级：
新四军军部和山东军区的司、政、后、卫机关各部、处、室、局的正职首长为少将或上校，所属科长一般为中校，司令部作战科长、政治部干部科长为上校；
胶东军区、鲁中军区、纵队及师的各部、处正职首长为上校，所属科长一般为中校或少校；
旅、军分区机关的科长一般为少校，司令部的作战科长、政治部的干部科长为中校；
各级参谋、干事、秘书、科（股）员按机关高低、业务主次，分别编为少校、上尉、中尉……
地方部队干部的军衔比主力部队干部的军衔低一级。
1946年6月，蒋介石撕毁《停战协定》，并进攻中原解放区，挑起了内战。我军酝酿的军衔制不得不再次搁置。
第三次军衔制的酝酿
1948年，中共中央召开政治局会议，会议准备酝酿军队内部的等级和军衔制的问题，同年9月通过了《关于中央局、分局、军区、军分会及前委会向中央请示报告制度的决议》，随着辽沈、淮海、平津三大战役战略决战的开展，中共中央决定放弃军衔制的实行，等建立新中国之后再来开展这一工作。
我军在新中国成立之前曾三次酝酿实行军衔制，由于三次都处于战争时期，最终未能实现，但是为1955年军衔制的实行进行了探索和借鉴作用。
