叶笃义:我同光旦先生相熟是在1957年反右之后。他的左眼失明，右眼高度近视。他只有一条腿，走路架着双拐。出去视察多是我照顾他。有人取笑他说：“潘先生的立场观点都有问题。”他说：“不止如此，我的方法也有问题，我驾的双拐是美国货。”他生有五个女儿。他把他的第五个女儿从小过继给他的弟弟潘光迥（在香港做生意）。潘光迥把她抚养成人，后来送到美国受教育，当了眼科医生。潘先生得知此事后，1964年曾想把她要回来，叫她为祖国服务。潘光迥没有同意，此事因而作罢。我之所以提及此事是要说明光旦先生，有人在反右时批判他是“铁心皮球”，意思是说他外表上总是如皮球一样柔软，而他的心却像一块生铁那样坚硬。生铁那样坚硬的心却叫他长期在外受人抚养的女儿学成之后，想叫她回国服务。只此一件事就足以说明当时批判者的谰言了。“文革”当中他同其他人一样遭到抄家。红卫兵抄到他的存折上只有数百元，不相信，认为他隐瞒财产。他叫他们到民族学院藏书的地方去看看，那里有几间屋子装满了他的藏书。他的钱全买了书了。他死后，把书全部赠予民族学院。