早在1939年和1946年，人民解放军就曾两次酝酿实行军衔制，由于历史的原因，未能实施。建国前夕的1948年，又开始酝酿关于军队内部的等级和军衔制的问题。
共和国建立之处，百废待兴。中央军委为加强人民解放军的正规化、现代化建设，把实行军衔制的问题重新提上了议事日程。
1950年7月4日，解放军总政治部主任兼总干部管理部部长罗荣桓在军委部长会议的发言中，提起军衔、奖励问题，拟在总干部管理部的编制里增设军衔奖励处。1952年11月26日，罗荣桓代表总干部管理部向毛泽东和中央军委呈送了关于实行军衔制度准备工作的报告。
总揽全局的毛泽东非常重视这件事。因为他很明白，人民解放军军兵种发展很快，短短两年多，空军、海军和装甲兵、防化兵等新的军兵种迅速建立和发展起来，初步建成了一支军兵种齐全的诸军兵种合成部队。在抗美援朝战争中，解放军已有多军兵种协同作战的作战形式，尤其是与朝鲜人民军的协同作战。但中国人民志愿军无军衔，朝鲜人民军有军衔，在确定指挥关系和协同作战上带来许多不便。因此，实行军衔制，不仅已是解放军从低级向高级阶段发展的重要内容，而且是现代战争对军队协同作战的迫切要求。
基于这个认识，毛泽东果断拍板，让很快开始军衔制的筹备工作。1953年初，中央军委发出《关于实施军衔制度准备工作的指示》，准备于当年7月份在全军实行军衔制度与薪金制度，并起草了《中华人民共和国解放军军衔条例（草案）》。由于各种原因，这个条例未能实行。同年9月上旬，彭德怀再次向毛泽东提出实行军衔制的必要性。1953年底召开的党的军事系统高级干部会议明确提出要实行军衔制、干部薪金制和义务兵役制三大制度，加强军队的正规化、现代化建设。
经过一系列紧张而艰辛的筹备工作后，1955年1月23日，中央军委发出《关于评定军衔工作的指示》和《关于颁发勋章奖章工作的指示》。1月28日，总政治部印发《关于实施军官服役条例，实行军衔制度的宣传要点》。2月8日，包括军官军衔制有关内容的《中国人民解放军军官服役条例》，经第一届全国人民代表大会常务委员会第六次会议审议通过，由毛泽东批准颁布实施。
《中国人民解放军军官服役条例》规定：“军官军衔等级正式设为4等14级，即：中华人民共和国大元帅、中华人民共和国元帅；大将、上将、中将、少将；大校、上校、中校、少校；大尉、上尉、中尉、少尉”。“军衔是军官终身的光荣称号，非因犯罪经法院判决，不得剥夺。”因此，解放军实行的军衔制度，属于永久军衔性质。永久军衔的特点是，将军官的荣誉称号、待遇、等级和职务因素融为一体，使其兼有调整部队指挥关系和调整个人利益关系的两种功能。
1955年9月27日，第一届全国人大常务委员会第22次会议，通过了《关于授予中华人民共和国元帅军衔的决议》。当日下午5时，中华人民共和国元帅授衔典礼在中南海怀仁堂隆重举行。中华人民共和国主席毛泽东亲自将中华人民共和国元帅的命令状，分别授予朱德、彭德怀、林彪、刘伯承、贺龙、陈毅，罗荣桓、徐向前、聂荣臻、叶剑英等10人。同日，国务院隆重举行了授予解放军将官军衔的典礼仪式。周恩来总理分别把大将、上将、中将、少将军衔的命令状，授予粟裕等在京将官。次日，国防部举行授予校官的典礼，彭德怀部长授予在京部分校官军衔。之后，贺龙、聂荣臻、叶剑英等元帅及其他高级将领分别代表国务院和国防部，在解放军各军兵种和各军区相继举行的授衔典礼上，授予这些单位的将官、校官和尉官军衔。同时，各部队还举行了授予士兵军衔的典礼。由于毛泽东拒领大元帅军衔，所以这一最高军衔成了虚设。
中国人民解放军自1955年10月1日起，开始佩带军衔肩章、军兵种和勤务符号，并按新的服装制式着装。
1955年授衔时，全军共有60余万名干部获得了准尉（为安排十几万副排职干部而暂设的一级军衔）以上军衔。其中元帅10人，大将10人，上将55人（1956年和1958年又各补授1名），中将175人（1956年和1958年又各补授1名），少将802人（1956年和1958年又各授4名，1961年至1964年由大校晋升少将533名）。
但短短几年后，情况就发生变化了。由于时代的局限，受“左”的思想的影响，当时不少人对军衔制度存在着偏见，认为军衔制是教条主义或是资产阶级的东西，不符合我军的实际。再加上军衔制度本身还存在着一些不完善的地方，从上世纪50年代后期开始，取消军衔制度的呼声就越来越高了。
1964年夏，为了保持我军艰苦朴素的光荣传统，增强军队和地方的团结，军委考虑减低军队干部的薪金，中央军委常委开了会，拟出了军队干部特别是高级干部的减薪方案。主持军委日常工作的贺龙元帅和总参谋长罗瑞卿大将到北戴河向毛主席报告这个事。毛主席听了汇报，把手一挥说：“减！”贺龙同志又请示说：是不是把军衔牌牌一起取消算了？毛主席立即表示同意：取消，这个牌牌我早就想把它搞掉了。在这以前，毛主席不止一次说过：我看到那个牌牌，就不舒服。过去没有牌牌打胜仗，现在有了牌牌我看要打败仗了。
毛泽东为什么这么坚决地要取消军衔制？刘继兴分析后认为，其原因恐怕不外乎这么两点。
一是当时我们国家刚刚经历了三年困难时期（从1959年至1961年期间由于大跃进运动以及牺牲农业发展工业的政策所导致的全国性的粮食短缺和饥荒），综合国力受到了很大的影响。全国人都在勒紧裤带过日子，军队中的干部继续享受军衔制所规定的诸多好处（如高工资等），在十分注重公平的毛泽东看来，是极其不合理的。
二是毛泽东从长期的斗争实践中总结得出这样一个结论：一支好的军队军队永远离不开官兵平等的艰苦奋斗精神，有等级差别后只能影响整体战斗力。
1964年11月，中央军委办公厅发出《征求的通知》称：军委办公会议已讨论同意军衔薪金改革小组提出的《关于取消军衔制度的意见》。《意见》认为军衔制度存在许多不利因素，建议取消。其具体的理由是：“我军的军衔制度，是照搬苏联和其他国家的。过去没有这种制度，也一样打胜仗。实践证明，这种制度不符合我军的优良传统，它是一种资产阶级法权，等级表面化，助长了个人名位思想和等级观念。不利于我军的革命化建设，不利于同志之间、上下级之间和军民之间的团结。同时增加了各级党委和政治机关不少繁琐事务。”
1965年5月1日，第三届全国人大常委第九次会议通过了《关于取消中国人民解放军军衔制度的决定》。
从此开始，人民解放军进入了长达20余年的“无衔期”。
党的十一届三中全会以后，随着“左”的思想影响不断清除，随着建设现代化正规化革命军队目标和任务的提出，以及与外军交往等方面的需要，重新实行军衔制度的问题被提上了日程。1980年3月12日，邓小平同志在军委扩大会议上明确提出，军队还是要搞军衔制。搞不搞军衔制，也是组织路线问题。根据邓小平同志的指示，1982年初，中央军委常务会议正式作出“恢复军衔制”的决定。1987年12月30日，中央军委决定，1988年国庆节前实行新的军衔制。1988年7月1日，第七届全国人大常委会第二次会议通过了《中国人民解放军军官军衔条例》。1988年9月14日，中央军委在北京举行授予上将军官军衔仪式，洪学智等17人被授予上将军衔，揭开了新军衔制授衔的序幕。10月1日，中国人民解放军正式实施新的军衔制度。
