1975年5月，根据中央专案三办的意见，潘汉年被从北京秦城监狱移送到湖南省茶陵县洣江茶场“劳动”和“安置”。
潘汉年夫妇二人，一个年近七旬，一个也接近花甲。洣江茶场成了他们人生的最后驿站。
公安部秦城监狱移送潘汉年的公文这样写道:“湖南省公安厅:根据中央决定将潘汉年放在你省劳改单位劳动。”
潘汉年于5月27日在公安部十五局所属的专案组以及秦城监狱和湖南劳改单位派出的公安人员的监护下，从北京乘火车，于29日到达长沙，当天即与3天前已赶到长沙的妻子董慧会合，后一同赴洣江茶场劳改。
潘汉年夫妇被分开关在秦城监狱，已整整 8年没有见面。虽说潘汉年还重压着一大堆帽子，但他们还是抑制不住久别重逢的喜悦。他俩有说有笑十分高兴。
他们对前途已不抱什么奢望，只求能在相互依偎中了此残生。
洣江茶场，即湖南省第三劳动改造管教队，地处井冈山下湘赣边界的湖南茶陵县境内，这里除有少量的茶场干部职工之外，绝大多数都是判了刑被送来劳动改造的人。
犯人们给家属写信的时候，只能写寄自“茶陵第二十七号信箱”。
建场之前，这个地方叫作“米筛坪”，意思是一大片不能蓄水的荒坪，天上落下来的雨水像倒进米筛，一眨眼全漏光了。
可是，经过一批又一批劳改犯人的手挖肩挑，到潘汉年夫妇去时却已成了“水旱保收”的丰产茶园。茶场不光是种茶、采茶，还有规模甚大的茶叶加工厂，生产出口换汇的红茶。
制茶需要各色各样的机械，因此又有一个机械厂。钟叔河就在机械厂干活。
“大约在一九七四年底或一九七五年初，管绘图室的干部忽然交下一项任务，要在关押反革命犯的二队和关押女犯的一队的监房旁边各盖两间小平房，叫绘图室赶快画施工图，编造预算。”
钟叔河心里犯嘀咕：“这两间小房子是干什么用的?盖起来以后让谁来住?”
图纸很快画出来了，预算也造出来了，可是并没有来拿。过了一些时候，干部仿佛顺便似的交代了一声:“这些都不要了。”
为了安排潘汉年夫妇的住处，茶场管理人员还颇费了一番心思。
茶场为他们安排了一间土红色砖墙、瓦顶的小平房。
小平房坐落在场部办公楼与职工宿舍之间，原为职工洗澡房，大约有20多平方米，内隔成两间，其中一间为灶屋，屋外有自来水，邻近职工食堂。
这对潘汉年夫妇来说，已是相当满意。
所以当茶场管理人员征求他们的意见时，潘汉年连声说:“可以可以。”
钟叔河还记得：“大约在一九七五年的夏天(也就是小平房改好后不久)有个泥木队的犯人告诉我，新改好的小平房里住进了一个老头儿和一个老太婆。”
“他们有不少的书，还有一副钓鱼竿，有钱买鱼和蛋吃，抽的又是好香烟。有两个去那里修阴沟的犯人，从老头儿手里弄到了一包“牡丹牌”。”
“牡丹牌”的新闻很快传遍了泥木队的监房，但是钟叔河仍然没有想到，小平房里面就是二十年代的湖畔诗人，抗战前后上海和香港的地下党负责人，五十年代上海市的第一副市长潘汉年。
钟叔河说：“我曾经爱好过文学，也稍许关注过文坛状况，潘汉年对我并不是一个陌生的名字。”但初见潘汉年，他完全认不出这是那位意气风发的诗人。
一九七五年八九月间某一天，我们收工整队回监房，经过场部商店门口时，走在旁边的一个犯人轻声对我说:“快看!快看!站在商店门口的老头!”
潘汉年一眼望去，是一个身材矮小，面容清癯，头发白多于青而且非常稀疏，穿着一件旧灰色派力司中山装的老者，手里提一只小竹篮。
“再一看他的面貌，似乎像一个什么人，可是又全然不能记起。”
潘汉年面容消瘦，行动已不太自如，但是他每天总是5点多钟起床打太极拳，接着也无事可干，一般会收拾打扫屋子里的卫生。
一九七五年和一九七六年冬季以前，潘汉年的身体还比较健康。董慧说：“他有时候也会出去取报纸、买菜、买火柴。”
在钟叔河的印象中，他曾经多次到机械厂的木工间来买引火柴。自已到值班室交钱，到木工间捡些木片木块，过了秤，放在篮子里自己提回去。
潘汉年还会读些从北京带来的马列经典著作和鲁迅文集。
潘汉年晚年从北京秦城监狱移到湖南省茶陵县洣江茶场劳改,随身只带了牙刷、毛巾等日用品,再有就是《鲁迅全集》了。
据说，“那套《鲁迅全集》箱子上的四个字，是蔡元培先生手写后刻出来的，他视之如命，一直放在身边。”
有时间就用手推车推着白发苍苍、下肢行动不太方便的董慧外出散步，董慧常开玩笑说，潘汉年的劳改任务就是照顾她。
每逢到场部放映电影，潘汉年就推着董慧坐着轮椅过来，大家就让出好的位置给他们。同在茶场“劳改”过的阳江，在谈到他1976年初见潘汉年的情况，回忆道:“我第一次在茶场里看到潘汉年同志，是1976年春节的前一天。当时场部要举办文艺汇演，我在大礼堂布置舞台。”
阳江还记得，在休息时间，他看到一位消瘦的老人，身穿着破旧的藏青色毛料衣服，手提篾织的圆篮，拄着手杖，从礼堂前面的小马路走向场部商场。
“他站在柜台边的人群后面，让其他顾客一个一个挤到前面买东西。一位女教师看到他，招呼着让他上前去买了味精、酱油、糖、花生之类的东西。”
“走出店门，他蹒跚着走回场部职工宿舍区。这时几个儿童追上来，使劲地喊:“潘汉年，你买鸡蛋还没有找钱哩!”
潘汉年只是转身来，接过找回的钱，低声道了谢。随后，他的背影便消失在拐角的苦楝子树后面了。
潘汉年夫妇在洣江茶场生活期间，曾提出要把自己的旧衣服送给茶场的文工团作道具，把电视机送给场部让大家看。
他们给职工讲故事，补习英语，有时还让去他们家串门的同志尝尝他们亲手做的饭莱。茶场的干部、群众尊称他们夫妇为“两老”。茶场的人都是十分尊敬二人：“每当潘汉年到食堂打饭莱时，大家主动让他先买哩。”一九七六年冬天，潘汉年就开始生病，出来行动的时候也越来越少了。
钟叔河还记得：“大约是一九七六年底一九七七年初的一个大晴天，我被叫到场部去“搞宣传”，有意从潘汉年夫妇的住房前走过，刚好看到潘汉年穿着棉大衣，戴着三折帽，坐在屋外晒太阳。他的面孔向着一大片菜园。”
钟叔河只看到他的背部。
“这是我最后一次见到他。”
一九七七年二月，潘汉年病重，在场部医院治疗。
但钟叔河透露：“场部医院的医疗水平，大概等于长沙市的街道卫生院吧。三月间，又听说上头叫把潘汉年送到长沙去抢救。”
送走的消息，钟叔河是事后才知道的，接着便听到了潘汉年的死讯。
一九七七年四月十四日下午，董慧赶来和潘汉年见上最后一面。
夫妻俩一见面就抱头痛哭。
董慧对潘汉年说:“你安心休息，要有战胜病魔的信心，要安静……”
夫妻俩说着话，当天晚上七点四十五分，潘汉年就停止了呼吸，一代英才含冤离世，终年七十一岁。
董慧从长沙招待所赶到医院向潘汉年遗体告别。当时医院领导、医生把潘汉年的病情和抢救过程向董慧作了交代，并就研究病因需解剖尸体之事征求董慧的意见。
董慧同意解剖。解剖所见，腹腔内部全都是紫血，肝脏烂得像豆腐渣一样。医生认为腹腔恶性肿瘤可能性大。
钟叔河听说：“他的病是肝癌，送到湖南医学院附属医院去时，用的名字是化名。”
四月十七日，潘汉年的遗体在长沙火化，骨灰埋葬在长沙市南郊的金盆岭墓地西侧半山腰。
董慧用潘汉年曾用过的化名肖淑安为潘汉年立了一块墓碑。
潘汉年死后，妻子董慧也因病住进了场部医院。
钟叔河只记得一些他人的转述：“他们说董慧买了个鸡不会杀，不会脱毛和开膛破肚。”
“她没有小孩，就买了个毛长长的哈巴狗玩具，连住医院也要带着放在床头。”
茶场派王芝兰帮助照料她的生活。
王芝兰很体贴这位不幸的老人，为了让董慧能够多吃点饭，常为她做一些爱吃的菜。董慧每次吃饭，都要留下一半饭菜，多摆一副碗筷，说要等老潘回来吃。
她对王芝兰说：“我刚才看见老潘了，老潘没有死，他会回来的。”
然后又拿出潘汉年的遗诗说:“你看，他给我写的诗，写得多清楚。”接着她又念起诗来，当每月发生活费时，她总拿出一部分钱存起来，说:“留给老潘用吧，他太苦了，从来也不会照顾自己。”
因为考虑到董慧喜欢孩子，为了减轻她对潘汉年的思念之痛苦，王芝兰女儿刘海燕课余时间来陪伴她。
董慧会向海燕讲述周恩来、陈毅等革命前辈的故事，要海燕以这些老革命老前辈为楷模，做个党的好孩子。同时，还会为海燕读《安娜·卡列尼娜》、《钢铁是怎样炼成的》等文学作品。
一九七八年国庆节，燕子陪伴在董妈妈身边看书突然听到董慧自言自语地念叨着:“董慧纺出来了!”、“董慧纺出来了!”
燕子听得莫名其妙，便问道:“董妈妈你说什么呀!”
董慧用手轻轻地抚着燕子的头，出神地回忆着:“那是我一生中最幸福的时刻，因为我学会了自己原来不会的东西，延安当时开展大生产运动，男的开荒种地，女的纺纱织布。”
“开始我纺不出来，当我第一次纺出纱来的时候，恰巧，毛主席走到我身边，他弯着腰，拿着我纺的纱，高兴地说道:“董慧纺出纱来了!董慧纺出纱来了!”
海燕接过了手绢，揩着女人的眼泪。
一九八二年，中共中央为潘汉年平反昭雪，恢复名誉。
