1959年12月底，在高等军事学院学习的吴瑞林，被总政部副主任叫去谈话，得知要将他调任东海舰队司令员。萧劲光、苏振华等海军领导也找他谈话，内心比较犹豫，认为海军是复杂军种，自己文化不高，很难胜任。

后因情况变化，不让他去东海舰队任职，改去南海舰队担任司令员，内心依然有些“抗拒”。实际上，他更愿意留在陆军，在熟悉的领域带兵打仗。

几位领导相继谈话后，他并没有给出一个明确态度，回到学院后，副院长陈伯钧到宿舍看他，是带着萧劲光的嘱托谈话，目的也是要说服吴瑞林到海军报到。

陈伯钧与萧劲光是老战友，解放战争时期，萧劲光担任12兵团司令，陈伯钧担任副司令，一起指挥部队南下作战。他对吴瑞林说了一些掏心窝子的看法，对公来说，需要服从上级调度和安排。从个人情况来说，陈伯钧也谈了自己的看法：我看你不如离休的好，海军是复杂的军种，你身体不好，伤残多又患有高血压，我看爱上离休的好。

说到去海军，他也说到，萧劲光曾经希望自己到海军工作，自己婉拒了。如今自己也不想干教育工作，正准备给军委写报告离休呢。他劝吴瑞林也写个报告，休息吧。

这话明显不是劝他去海军报到，而是有点“火上浇油”的味道，本来不想去，还让他选择离休。但他又把话说回来：去海军工作不是某个人说了算，现在是毛主席和军委都批准同意的，是不得不去的。去海军工作可以，干一两年就行，不要长，我在北京给你活动活动。意思是回头再调回陆军工作。

他们聊了很久，陈伯钧让他早点休息。

第二天苏振华、陈伯钧都请他赴家宴，还是开导他去海军工作。后来陆续邓岳、段苏权、刘道生都请他吃饭，表示欢迎他去海军工作。海军负责人让南海舰队负责人来汇报工作，让他也出席参加，了解情况。

或许吴瑞林没有给出一个明确到答复，当吴瑞林参加完海军会议后，回到学院时，陈伯钧已经在书房等他多时了。目的显而易见，继续开导他上任，最终他也给陈伯钧交底，要去上任。

上级把他调去海军任职，因为能打仗，尤其是抗美援朝时期率领42军打得很有战绩。该部原来是四野最晚组建的部队，是地方部队升格而来，打大规模战斗不多。解放后本来派到东北农垦，抗美援朝使得这支部队成为第一批朝作战的部队。吴瑞林经历很多战役，打得很出色，是全程战争的，让他把守祖国南大门是再合适不过。

到南海舰队上任不久，提拔为广州军区副司令员兼南海舰队司令，在六十年代后期，调任海军常务副司令。七十年代初，离开大众视线。