卡特的妻子是罗莎琳，他们的婚姻长达 77 年，是美国总统历史上最长的婚姻。有趣的是，卡特的母亲是罗莎琳的接生护士，而卡特在罗莎琳出生一天后就见到了她，几十年后的 1945 年两人开始约会，并于 1946 年结婚。
