张学良晚年在回忆录中，讲过一段顾维钧婚内出轨有夫之妇的故事，大概是这样的：

西安事变前，张学良和顾维钧总在杨某某的家里打麻将，这个杨某某的太太在散场前，一定会和顾维钧上楼去待一会儿，两人去楼上干什么？不言自明的事。这个杨太太为杨某某生了一个小女儿，当时已经三四岁了，长得却跟顾维钧一模一样的。有一次，张学良、顾维钧又在杨家打麻将，这时顾维钧的太太来了，要带顾维钧离开，顾就是不走，顾太太就指着杨太太大骂，你这个不要脸的东西，然后拿起桌子上的茶水，朝顾维钧的头上浇了上去。顾维钧被浇了，还是一动不动，杨太太被骂了，也是一动不动。这种尴尬的场面，就连少帅看了都感觉不好意思。

这个杨某某在外面也听到了风声，有一次他就对少帅说，外面总有人说我太太跟顾维钧有关系，少帅也不能出卖顾维钧，就回答我看不出来。杨太太在外面和顾维钧偷情，但这个杨某某也不是单纯的受害者。据张学良说，杨某某也有情人，是一个会开飞机的女人。这夫妻两个，就是他干他的，她干她的。由于张学良没有透露这个杨某某的真实姓名，一些人根据他话里的“西安事变前”，就认为这个杨某某是杨虎城，而这个杨太太就是杨虎城当时的夫人谢葆真。这样的推测太简单了，对杨虎城夫妇来说是不公平的。事实上，杨虎城夫妇的感情很好，1937年12月，杨虎城回国后遭到了蒋介石的逮捕，谢葆真明知自己也很危险，但还是为了营救丈夫四处奔走，决心和杨虎城生死与共。后来，她也被抓了，和杨虎城囚禁在一起。谢葆真死后，杨虎城亲自火化了她的遗体，将骨灰日夜放在身旁。

杨虎城和谢葆真的二女儿杨拯美、三女儿杨拯英出生于1932年和1933年，符合张学良所说的杨某某的女儿当时三四岁，但并不符合“长得跟顾维钧一模一样”，相比之下，她们和杨虎城长得更像。那么，这个杨太太到底是谁呢？答案就是顾维钧的第四任太太严幼韵。顾维钧和严幼韵在30年代就有了婚外情，当时顾维钧的太太是黄蕙兰——就是那个拿茶水浇顾维钧的太太，严幼韵的丈夫是杨光泩，是顾维钧的下属。黄蕙兰发现丈夫顾维钧和下属的太太有染后，就大闹特闹，坚持要把杨光泩调走，顾维钧无奈，就把他调到了南洋，当民国驻菲律宾总领事。这样，严幼韵也去了南洋。没过几年，日军就占领了马尼拉，杨光泩遭日军杀害，严幼韵带着3个女儿（其中就包括张学良所说的那个“长得和顾维钧一模一样”的女儿杨雪兰）跑到纽约，继续做顾维钧的情人，后来又在顾维钧的介绍下，到联合国的一个机构当文员。

1956年，顾维钧和夫人黄蕙兰离婚，据黄蕙兰回忆，两人之所以离婚，一是因为顾维钧事业心重，一心一意为工作打拼，经常冷落妻子；二是因为自己出身富豪，性格骄纵，顾维钧抱怨自己开销奢侈、生活随便，两人逐渐貌合神离。但从前面的故事看，原因应该还有一条，就是顾维钧有婚外情。和黄蕙兰离婚3年后，严幼韵和顾维钧结婚，从情人变成了太太。严幼韵后来活了112岁，到2017年才病逝，长寿程度令人惊叹。张学良晚年回忆顾维钧和严幼韵情史的时候，严还活着，所以张学良不能直接点她的名字，结果反而让一些人误解成了杨虎城的太太谢葆真。