玩酷网

OpenAI 发布最新技术报告,揭秘 GPT-4o 变谄媚的原因CEO 奥尔特曼

OpenAI 发布最新技术报告,揭秘 GPT-4o 变谄媚的原因

CEO 奥尔特曼也做足姿态,第一时间转发小作文并表示:(新报告)揭示了 GPT-4o 更新失败是因为什么,从中 OpenAI 学到了什么,以及我们将会采取的应对措施是什么。

概括而言,最新报告提到,大约一周前的 bug 原来出在了“强化学习”身上 ——上次更新引入了一个基于用户反馈的额外奖励信号,即对 ChatGPT 的点赞或点踩。虽然这个信号通常很有用,但可能使模型逐渐倾向于做出更令人愉快的回应。

此外,尽管还没有明确证据,但用户记忆在某些情况下也可能加剧奉承行为的影响。一言以蔽之,OpenAI 认为一些单独看可能对改进模型有益的举措,结合起来后却共同导致了模型变得“谄媚”。