1971年1月，经周恩来提名，耿飚出任中共中央对外联络部部长。

耿飚

耿飚上任前，周恩来找他谈话，说了中央作出这个任命的经过，原来在“九大”前，主管中联部工作的康生就向周恩来提出，希望从外交部已“解放”的副外长级干部中，选一位到中联部任部长，此人最好是中央委员，并和外国共产党有过交往。周恩来经过考虑，认为耿飚最符合这些条件，便向中央推荐了他。

周恩来还对耿飚说：“在中央常委中，由康生分工领导中联部，所以你遇事当然要向他请示，此其一；其二，你在和康生接触时，也可以做他的工作，争取他和‘四人帮’逐渐疏远起来，同时还可通过康生来防止他们插手中联部的工作。”

耿飚刚到中联部上任，就发现了一个问题：部里上报中央文件的抄送名单中，有两位不属于应该抄送者之列，其中一位正是康生的妻子曹轶欧。耿飚便问相关工作人员：“为什么要给曹轶欧抄送呢？”

工作人员回答说：“她是中央委员。”

曹轶欧

耿飚又问：“中央委员有100多人，为什么只给她送？她与中联部有没有工作关系？”

工作人员回答：“她本人和我部没有工作关系，但她是康生同志的爱人……”

虽然康生是耿飚的上司，但秉性耿直的耿飚并没有放弃对原则的坚持，他说：“如果曹轶欧本人的职务与文件内容无关，光凭夫人的头衔，并不需要阅读这些文件。曹轶欧如果以康生办公室主任或秘书的身份，可以阅读，但她应该阅读报送给康生的文件，为什么还要给她另发一份呢？”

最终耿飚提笔划掉了曹轶欧的名字，周恩来得知此事后，称赞他说：“你这样做，既坚持原则，又符合保密规定，做得对！”

不过此举自然引起了曹轶欧的不快，不久以后，她托人来找耿飚，企图推荐一个中央党校的造反派头头到中联部任副部长。耿飚心想，曹轶欧在中央党校呼风唤雨，把好端端的一个党校闹得天翻地覆，如果她推荐的人来中联部当副部长，中联部岂不要遭殃？因此他坚决拒绝了曹轶欧的要求。

耿飚

耿飚虽然多次得罪了曹轶欧，但她也奈何耿飚不得，因为如果她要整耿飚，必须通过康生，但此时康生已经和“四人帮”产生了矛盾，而且重病缠身，所以无力顾及这些事了。

对于“四人帮”，耿飚也是坚决划清界限。有一次政治局开扩大会议，耿飚、姬鹏飞、黄镇奉命参加，江青在开完会后把他们3人留了下来，并郑重其事地说：“以前我和你们联系不多，今后希望你们经常到我那里走动走动，经常通通气。”

江青是想通过主动示好，把这3位资深的外交家拉到自己一边，并通过他们来达到长期以来梦寐以求的目的——插手并控制中央的外事部门。但江青的如意算盘落空了，耿飚等人谁也没到她那里去过。尤其令江青恼怒的是，耿飚每次到钓鱼台汇报工作，都要经过她住的那幢楼，但耿飚一次也没有去拜访过她。

江青

在不久后中央的一次春节团拜会上，江青和参加的中央领导一一握手，但当她来到耿飚面前时，不仅没有握手，还狠狠地瞪了耿飚一眼，然后扭头就走。李先念看到这一幕后，问耿飚：“我发现江青不和你握手，这是为什么？”

耿飚便将事情的前因后果说了一遍，李先念听后感叹道：“哦，你这个人的胆子不小，不过你要当心啊！”耿飚却满不在乎地笑了笑。

作为中联部部长，耿飚曾陪同姚文元出访，他经常对姚文元不合外交礼仪的行为提出批评。有一次，姚文元带领一个代表团访问阿尔巴尼亚，吴桂贤是代表团副团长，耿飚是团员。在一次晚宴后，姚文元乘车先回住处，过了一会儿，吴桂贤也从宴会厅出来，她到存衣处取大衣，可保管人员怎么也找不到她的大衣了。最后阿方的接待人员连连向吴桂贤表示歉意，吴桂贤只得怏怏而回。

第二天，代表团外出参观时，吴桂贤突然发现姚文元身上的大衣正是自己丢失的那件，不由得叫出声来。原来前一天的晚宴结束后，姚文元错穿了吴桂贤的大衣，他一直没有发觉，因而闹出了外交活动中的大笑话。耿飚便在代表团后面的碰头会上指出要注意礼仪，别出洋相，实际上是批评了姚文元。

耿飚进行出访

由于耿飚多次不“合作”，“四人帮”便在1974年1月指使中联部的造反派贴他的大字报，向他施加政治压力。耿飚得知这些情况后，十分气愤，他向周恩来报告说：“在目前这种情况下, 我没法工作, 可不可以辞职不干？”

周恩来却说：“不行！耿飚同志，我送你三句话。第一，人家要打倒你，不论怎么打，你自己不要倒；第二，人家赶你，不管他怎样赶，你自己不要走；第三，人家整你，不管他怎样整，你自己不要死。”

这三句话坚定了耿飚继续为党工作的决心，此后无论造反派怎么闹，他都能做到泰然处之了。