杨振宁的第一任夫人是杜聿明的女儿杜致礼，杜致礼去世后，杨振宁迎娶了小自己54岁的翁帆。

杨振宁和杜致礼相遇在异国他乡。1949年圣诞节假期的一天，杨振宁和自己的同事鲁丁格一块前往普林斯顿的一家中国餐馆吃饭。就在这时，一位举止端庄，容貌清秀的东方女孩朝着他走来，这个姑娘看起来不过二十多岁的年纪，她走到杨振宁面前后，开口就用中国话和他问好，杨振宁起先一愣，随后灵光一闪认出了对方，她不是自己在西南联大附中教过的一位学生吗？她叫杜致礼。

杜致礼是杜聿明的长女，杜聿明忙于战务时，他的长女杜致礼正在云南昆明西南联大附中读书，并认识了教她数学的老师杨振宁，当时杜致礼还是读高中的花季少女，而已经读完硕士研究生的杨振宁可能并没有在意这位比自己小五六岁的女学生，然而，当杜致礼六七年后出现在杨振宁面前，又是另一番景象。

1946年，杜致礼考上北平辅仁大学外文系，次年，屡吃败仗的杜聿明一筹莫展，再加上他身患肾结石，忧郁成疾，于是给蒋介石致电，请求准许他先去上海治疗，再出国治病。

彼时，杜致礼都做好了和父亲一块去美国的打算，届时不但能照顾父亲，还可以去美国求学。蒋介石起初也确实允许杜聿明前往美国治疗，就连出国护照都办好了，结果，杜聿明在上海治疗期间，接受了一位美国记者的采访，因为说了一些让老蒋不满的内容，于是被告知不准他出国。

杜聿明自知大事不妙，赶紧让女儿独自一人前往美国，杜致礼带着行囊去了美国，杜聿明身体康复后继续为蒋介石效力。1949年，杜聿明被人民解放军俘虏。

然而，远在美国读书的杜致礼对父亲的遭遇一无所知，还以为父亲已经去世了。

杜聿明的突变，也间接的影响到了杜致礼，原本她是打算遵从宋美龄所言，去卫斯理女子学院学习，攻读自己喜欢的英国文学，这所学校的学费非常的昂贵，如果放在以前，她一定会这么选，但是，如今家里遭逢巨变，她只能临时改变主意，前往一所默默无闻的圣文森学院完成自己的学业。

这次偶遇后，两人的心里久久不能平静，杨振宁很快就爱上了自己的这位学生，而杜致礼一个人在国外两年，也想要有人呵护在侧，杨振宁显然是一个很好地人选，于是，他们认识八个月后，两人在普林斯顿结了婚，这一年，杨振宁28岁，杜致礼22岁。

成婚后，杜致礼并没有变成家庭主妇，而是在大学里任教，杨振宁则是满世界的飞来飞去，杜致礼则在家里等着他回来。

只可惜，2003年杜致礼因病去世，享年76岁。从23岁嫁给杨振宁到生命的最后一刻，两人度过了53年的时光，也留下了很多佳话。

2004年10月，杨振宁突然做出了一个惊人的举动，他给自己的亲友们发送了一封电子邮件，在邮件中他告知了他们自己订婚的消息：“这是一封重要的信，向你介绍我的未婚妻。她的名字叫翁帆……”

翁帆这一年28岁，而杨振宁已经82岁。两人在1995年汕头大学参加一个国际物理会议时相遇的，当时她负责接待杨振宁等人。

翁帆大学毕业后就结婚了，几年之后离婚，之后继续深造，在那次会议过后，两人几年都没有联系，后来还是翁帆写信，辗转了许久寄到了杨振宁所在的香港，他们也逐渐熟识，在杨振宁看来，翁帆依旧保持着多年前的率真。

在杨振宁看来，虽然自己已经年老，但精神上还保持着年轻，这也是翁帆被他吸引的部分原因。

在杨振宁看来，翁帆就是上帝给他的最后一个礼物。

对于杨振宁这段堪称“爷孙恋”的婚姻，很多人都无法理解，而杨振宁却说：“三四十年后，大家一定会认为这是罗曼史。”

而翁帆的父亲在接受记者采访时表示，他们完全理解和支持女儿的选择，女儿愿意为了照顾杨振宁教授的晚年生活作出牺牲，既是美德，也是光荣。

或许，外界很难理解她的选择，但是，翁帆认为自己的选择是正确的，如今他们依旧相濡以沫，也足够了。