画家周仲铮在《八哥小记》中提到过法国报纸上的一则新闻：两个美国人来到巴黎，想在当年巴黎著名的艺人区蒙巴利阿斯找到特殊能代表巴黎著名的艺人区色彩的人物。他们找了三天，结果发现潘玉良是最能代表巴黎艺人区特色的画家。

巩俐和李嘉欣饰演的潘玉良过于美丽。真实的潘玉良是一位“身材不高、狮鼻口阔的平凡女性，性格也并不婉约，反而是爽朗大气，直来直去，更像一位真性情的男子汉。”丈夫潘赞化形容她：“你一生不讲究装饰，更有男性作风。少年骑马射箭，都是好手……”陈丹青谈及潘玉良的相貌，写到：“不美，我也喜欢，因为那是古人之相，望之起敬。”

潘玉良在14岁时被卖进芜湖的烟花之地，17岁时被时任芜湖海关总督的潘赞化赎出，纳为小妾，证婚人是陈独秀。据说潘玉良身处青楼时，曾为潘赞化弹唱了一曲《卜算子》：“不是爱风尘，似被前缘误。花落花开自有时，总赖东君主。去也终须去，住也如何住？若得山花插满头，莫问奴归处。”道尽人生无奈。但被迫沦落青楼的经历，日后还是成为了她被人攻击的话柄。

1936年，潘玉良已经颇有名气，她举办了第五次个人美术展，画作《人力壮士》为她赢得了极高的声誉，然而美术展即将结束时，意想不到的事情发生了，有人在画上写了一句“妓女对嫖客的颂歌”。早年上海美专求学时，就有同学因知道潘玉良的过往，而向校长提出“誓不与风尘女子同校”。任教中央大学时，同事看不惯她，也在背后说些“凤凰死光光，野鸡称霸王”的言语。当年阮玲玉因婚姻问题遭到报纸毁谤，留下一纸遗书“唉，我一死何足惜，不过还是怕人言可畏，人言可畏罢了！”潘玉良在“人言”面前，若过于软弱，或许就会步“有名无力”阮玲玉的后尘，好在潘玉良是个“有力”的女子。

潘玉良旅居国外多年。1959年，潘赞化去世后，潘玉良彻底打消了回国的念头。此后的几十年里，她不谈恋爱，不加入外国国籍，也不依附画廊拍卖作品，个人生活比较清贫，要靠友人接济和救助金度日。那时的她也不会想到，多年以后《自画像》竟以1021.8万人民币元成交，《浴后四美姿》在拍卖会上以113.732万美元成交。若按市场均价计算，潘玉良的四千多幅作品拍卖总价可以达数亿美元。

1977年，潘玉良在法国病逝。临终前有三个遗愿：一是换一身旗袍，以中国女人下葬；二是将潘赞化赠予的项链和怀表交给潘家后人；三是将画作带回祖国。潘玉良葬在巴黎的一座艺术家墓地，她的墓碑上写着“世界艺术家潘玉良之墓（1895-1977）”。