1955年3月15日，潘汉年随上海代表团前往北京，参加即将召开的全国党代会。出席这次会议的代表还有陈毅、柯庆施、陈丕显等。

在这次党代会上，毛主席欢迎那些和高、饶问题有所牵连的同志，主动把自己的问题向中央讲清楚。毛主席的话引起了潘汉年的深深思考。

在此前不久，饶漱石和上海公安局局长杨帆已经被查出在上海“重用、包庇和掩护一批反革命分子”。

此事是指1948年，上海战役前夕，为了做好接管上海的准备，尤其是和国民党遗留的潜伏特务作斗争，饶漱石制定并领导了一场“以特制特”的潜伏战。具体来说就是，利用国民党的特务来清除上海的特务系统，饶漱石当时的想法是：“过去国民党当就是用叛徒顾顺章搞垮了我们上海的地下组织，我们也要用这种办法对付国民党，即以其人之道还治其人之身。”

总的来说，“以特反特”的效果还是不错的，比如49年10月，国民党保密局派出杀手刘全德谋刺陈毅市长，主要就是靠这个办法告破的。资料显示，当时上海凭借这个办法，共发现了敌特活动线索共4000多起，侦破专案470起，其中重大专案占到了1/3。

但是，“以特反特”的政策在执行的过程中，也存在着一些工作上的错误和缺点。比如为了解决当时干部不够的问题，饶漱石指示“特务可用”，把几个有历史问题的特务调到了社会处；还有就是这个办法搞得关系很滥，甚至用特务领导对特务的斗争，这种事情一旦处理不当，很容易就会在政治上给我们造成被动。比如当时就有一些干部说：“杨公（即杨帆）门下三千三，尽是鸡鸣狗盗徒。”

此事的材料在55年3月的全国党代会上公布后，引起了大家的“群情激愤”。

在这件事上，潘汉年当时虽然没有受到牵连，但他感觉自己也是有责任的。因为他毕竟是当时上海市公安、政法的实际负责人，是杨帆的顶头上司，潘汉年觉得自己有必要就此事主动做出交代。

更重要的是，潘汉年的心里一直以来都有一个难以启齿的心病，那就是他在1943年，曾在李士群等人的挟持下，在南京会见过汪精卫。

思前想后，潘汉年在4月1日找到了上海代表团团长陈毅，详细向他坦白了自己在12年前见汪精卫的经过，并检讨了自己长时间没有向组织上汇报的原因，并请陈毅把自己的报告转交给中央。

陈毅听后感到震惊，第二天他亲自来到中南海，当面向毛主席报告了此事。如果说，“以特反特”的事情还不算特别严重的话，那么1943年私自会见汪精卫（即使有被胁迫的因素，也应该事后及时报告），就可以说是严重违反党的组织纪律了。

后来，杨尚昆同志在《党的文献》中撰文说：“毛主席看过潘汉年的材料大为震怒，批示：此人从此不能信用。并做出立即逮捕潘汉年的决定，在4月3日责成公安部执行。”

毛主席的“大为震怒”是有原因的。

首先，在战争状态下，为了刺探日军对新四军的作战计划，利用李士群等争议人物，这是可以理解的，也是非常情况下的非常手段，这是可以理解的。而且，在进行这些工作的时候，潘汉年都对组织有正式的报告。但是，上升到汪精卫这一个级别，则是事关重大，非同一般。

潘汉年在处理这件事上，显然是有严重工作失误的。他和汪精卫会面后不久，国民党的情报人员就得知了这一消息。

1943年6月25日，陈布雷给蒋介石发报：“共党潘汉年现充新四军代表，由李士群之拉拢，在京沪江淮一带公开活动，与敌伪交往频繁……”

1943年9月，毛庆祥在给蒋介石的电报中说：“现汪精卫正替日本拉拢八路军代表，而潘汉年早与汪伪正式谈判妥协，且由汪伪介绍潘汉年与日军领袖见面……”

蒋介石对此情报颇为重视，亲自下令由军统、中统调查“有无潘汉年在伪方活动”。

潘汉年和汪精卫当然没有进行所谓的“妥协谈判”。据尹骐撰《潘汉年的情报生涯》记载，汪精卫当时向潘汉年表示，希望我党参与其政府治下的议会政治，认为我党不应该和蒋介石联合，但是潘汉年断然拒绝之。

但问题的关键并不是存不存在“妥协谈判”，而是两人确实私下里见了面，谈什么并不重要。国民党于是立刻在报纸上披露了我党代表与汪伪秘密谈判，“准备投降”，攻击我党“抗日是假，投降是真”。还说我们和日伪联手，利用七十六号进行地下活动，打击国民政府的抗日工作人员。此消息一经流出，不难想象，立刻在社会上掀起了轩然大波。

延安看到这些文章后，完全不知道是什么回事，向华东询问有无此事，得到的答案是组织从未进行过此事。随后，我党的报纸开始公开驳斥国民党的造谣诬陷。

令人感到非常不解的是，作为一个常年从事情报工作的老特工，一个1925年就入党的老党员，潘汉年为什么不在事后立即向组织汇报相关情况，而要三缄其口，一拖就是12年？

按照潘汉年的解释，他之所以不汇报，是因为他和自己当时的顶头上司，时任华中局代理书记、新四军代理政委的饶漱石不合。当时饶漱石正在利用“黄花塘事件”排挤陈毅，他深入虎穴，却未得虎子，很容易就会落下把柄，他害怕自己到时候想解释却无法解释清楚，落个“莫须有”的罪名，最终选择了沉默。

像这样的事情，只有立即汇报才是唯一可行的，一年后、两年后再汇报，就多少显得有些可笑。就这样，潘汉年失去第一次，也是最重要的一次向组织上说明白的机会。

1945年，饶漱石以华中局的名义给毛主席写信，称潘汉年在工作中有违反纪律的情况。当时毛主席正在会见潘汉年，主席安慰潘汉年，不要听信那些流言蜚语，自己对他是信任的。潘汉年再次产生了犹豫，没有当面向毛主席解释清楚。

有文章说，陈毅55年在中南海向毛主席汇报了潘汉年的情况后，毛主席生气地说：“当时不好说，为什么延安见到我的时候不说？”

可见，45年在延安，是潘汉年把自己的问题解释清楚的又一次机会。但或许是主席信任的话语，反而更加大了潘汉年的压力，让他自感羞愧，欲言又止，顾虑重重，最终又失去了这最后的机会。

回看整个过程，潘汉年在此期间一定充满了各种的纠结和无奈。《潘汉年诗文选》中，他在1943年6月的一个雨夜写了一首非常愁苦的诗：

萧萧细雨又黄昏，独坐寒斋伴孤灯。冉冉清愁成绮梦，醒来犹是客中身。

作为一个曾经的左翼作家，潘汉年身上还是有一些优柔寡断的“书生本色”。

1982年8月23日，中央正式发布《关于为潘汉年同志平反昭雪恢复名誉的通知》红头文件，指出：“潘汉年同志几十年的革命实践充分说明，他是一个坚定的马克思主义者，卓越的无产阶级革命战士，久经考验的优秀共产党员，在政治上对党忠诚，为党和人民的事业作出了重要贡献。”

潘汉年的错误总归还在工作的范畴内，中央对潘汉年的这个重新评价是客观公正的。