这两天 OpenAI 的新研究《语言模型为什么会产生幻觉》引发了很多讨论，和人在大公司待久了很像。一言以蔽之，是因为今天我们对模型的评估会奖励模型瞎猜。
因为对一个模型不知道的问题，模型回答「我不知道」，人肯定会给差评，但瞎猜一个万一猜对了，人就会给好评。
久而久之，模型对于不知道的问题就会能猜尽猜，反正最差的结果不过是和「我不知道」一样。
但其实很多很多时候我们需要的是一个确定的答案，回答「我不知道」要比胡编乱造一个答案有价值得多。
应该说在这个研究发出来之前，OpenAI 应该在 GPT-5 的训练中做了一些验证了，所以 GPT-5 的幻觉率才会很低，而且罕见地在思考之后给出答案：「我不知道」。
