语言模型的突破:麻省理工引用博弈论让AI更聪明!

曦照认知 2024-05-18 10:32:59

在人工智能领域,如何提高AI对文本的理解和生成能力一直是一个挑战。现在,麻省理工学院(MIT)计算机科学与人工智能实验室(CSAIL)的研究人员开发了一种名为“共识游戏”的新方法,通过将文本生成和评估过程视为一场游戏,显著提升了AI在阅读理解、数学问题解决和对话等任务中的表现。

这个“共识游戏”是一个基于游戏理论的方法,它将AI系统分为两个部分:一部分尝试生成句子(就像给出线索),另一部分则尝试理解和评估这些句子(就像猜测秘密信息)。研究人员发现,通过将这种互动视为一场游戏,在特定规则下让AI的两个部分协同工作以达成正确的信息,可以显著提高AI给出正确和连贯答案的能力。

传统的大型语言模型通常有两种回答方式:直接从模型生成答案(生成性查询),或使用模型对一组预定义的答案进行评分(区分性查询),这可能导致不同甚至不兼容的结果。例如,使用生成性方法回答“谁是美国总统?”可能会直接得到“乔·拜登”这样的答案。然而,使用区分性查询在同一问题上评估相同的答案时,可能会错误地争辩,比如“巴拉克·奥巴马”。

为了解决这些不兼容的评分过程并实现连贯、高效的预测,研究人员提出了一种新的解码算法,称为“均衡排名”。这种训练无关的方法将整个过程视为一个复杂的线索和信号游戏,其中生成器尝试使用自然语言向鉴别器发送正确的信息。通过寻找“近似均衡”,研究人员能够协调生成和区分查询,从而提高预测的准确性。

研究人员在多种任务上测试了这种新方法,包括阅读理解、常识推理、数学问题解决和对话,团队的算法一致提高了这些模型的表现。使用ER算法与LLaMA-7B模型的测试结果甚至超过了比它大10倍的模型。

尽管实施共识游戏方法,特别是对于问答任务,确实涉及重大的计算挑战,但这种方法的潜力巨大。它不仅能够提高基础模型的性能,还可能为日常使用的ChatGPT等语言模型提供更可靠和事实性的输出。

MIT的这项研究为我们展示了游戏理论在提高AI语言模型性能方面的潜力。通过将AI的文本生成和评估过程视为一场游戏,研究人员成功提升了AI在多种任务中的表现。这项工作不仅为AI领域带来了新的视角,也可能为未来的语言模型解码带来范式转变。你对AI如何通过游戏理论变得更聪明感到好奇吗?在评论区分享你的想法,让我们共同探讨AI的未来发展方向。

参考资料:arXiv:2310.09139

0 阅读:132

曦照认知

简介:感谢大家的关注