新中国成立初期，随着建交国家的不断增多，向国外派送外交大使成为当务之急。

周总理独具慧眼地提出，外交大使应首先从军队中选拔。他深知军队干部经过战争的考验，忠诚可靠。在毛主席的明确表态下，将军去当大使不算转业，可保留军籍。耿飚最初对这一任务并非欣然接受。作为一名在战场上浴血奋战的将军，他或许更期望在军事领域继续施展才能。然而，军人以服从命令为天职，耿飚最终踏上了外交之路。

当时寻找外交大使有三个重要来源。军队干部作为外交官来源之一，有着独特的优势。他们在革命的战火中锤炼，经历了无数艰难困苦，对国家有着坚定不移的忠诚。他们见证了战争的残酷与革命的艰辛，深知胜利成果来之不易。在枪林弹雨中培养出的勇敢、坚毅和果断品质，使他们在外交战场上面对复杂情况时能坚定立场，不被困难与压力所屈服。他们犹如国家利益的坚固堡垒，坚决维护国家的尊严与权益。地方干部也是重要的外交官来源。他们长期在人民群众中工作，对国情有着直观而深入的了解。熟悉各地风土人情、经济状况和社会问题的他们，能在外交活动中更好地阐释中国的政策和发展道路。丰富的基层经验让他们懂得如何与不同群体沟通交流，能将中国人民的声音和诉求准确地传递给世界，展现中国的真实面貌。

地下党中的同志同样在外交领域有着重要作用。他们忠诚勇敢，在敌人的眼皮底下开展工作，为革命事业默默奉献。较高的文化水平和外语能力使他们在与外国势力接触时具备天然优势。他们深入虎穴不怕牺牲的精神，在外交工作中转化为坚定维护国家尊严和利益的动力，为国家争取更多的支持与合作机会。在这样的背景下，周总理从不同渠道挑选出了一批优秀人才，其中16人备选到外交部出任各国外交官，12人为高级将领，“将军大使”由此诞生。1955年中国人民解放军首次授衔时，耿飚虽保留军籍，却因担任大使错过了这次授衔。以他的贡献和资历，被授予上将是完全有可能的。

1978年8月3日，时任国务院副总理的耿飚在结束出国访问准备回国时，接到了军委秘书长罗瑞卿逝世的噩耗。耿飚怀着沉痛的心情登上回国的飞机。罗瑞卿的离去令人惋惜，而确定军委秘书长的接任人选则迫在眉睫。此时，叶剑英想到了耿飚。1979年1月2日，中央军委扩大会议召开，邓小平公开宣布耿飚回军队任职。自1950年离开部队，时隔29年，耿飚重新回到军队，担任军委秘书长。看着镜子中身着军装的自己，耿飚仿佛回到了年轻岁月，脑海中浮现出难忘的革命历程。他兴奋地走到院子里，在雪松下拍了一张戎装照，然后迫不及待地去拜访老战友，分享这份喜悦。

1979年11月，由于工作繁重，邓小平决定不再担任总参谋长。对于总参谋长的接任人选，邓小平让耿飚先征求叶剑英的意见。1980年，许世友成为中央军委常委，赴京任职，与耿飚的往来增多。一次，两人聊天时回忆起1955年授衔之事。耿飚表达了未获军衔的遗憾。许世友问道：“如果授衔你适合啥军衔？”耿飚笑着回答：“其他不敢说，肯定在你前面。”

1981年，耿飚就任国防部长，成为新中国成立后第一位没有军衔的国防部长。对耿飚来说，未获军衔确实遗憾，但作为一名军人，他始终以国家需要为使命，哪里有需要就奔赴哪里，从不计较个人得失。