克里斯蒂娜-奥尔森（Christine OLSSON）/TT 新闻社，通过美联社
杰弗里·辛顿（Geoffrey Hinton），一位计算机科学家，其在 1980 年代和 90 年代对深度学习的开创性工作支撑着今天世界上所有最强大的 AI 模型，已被瑞典皇家科学院授予 2024 年诺贝尔物理学奖。
在宣布获奖后几分钟内，辛顿在电话中对瑞典皇家科学院表示，他感到震惊：“我不知道会发生这样的事情。我很惊讶。”
辛顿与计算机科学家约翰·霍普菲尔德（John Hopfield）共享该奖项，霍普菲尔德发明了一种能够存储和重建数据的模式匹配神经网络。辛顿在霍普菲尔德网络（一种霍普菲尔德网络）的基础上开发了反向传播算法，该算法可以让神经网络学习。
霍普菲尔德和辛顿借鉴了物理学方法，尤其是统计技术，来开发他们的方法。用诺贝尔奖委员会的话来说，这对科学家因“奠基性的发现和发明，使机器学习能够使用人工神经网络”而获得认可。
但是，自 2023 年 5 月以来，当《麻省理工科技评论》帮助披露辛顿现在害怕他所帮助带来的技术以来，这位 76 岁的科学家已经成为末日论的领军人物——这种观点认为，存在非常真实的风险，即近期的人工智能可能会引发灾难性的事件，甚至包括人类灭绝。
末日论并不是新的，但辛顿（于 2018 年获得计算机科学最高奖图灵奖）为许多同行曾经认为古怪的立场带来了新的信誉。
是什么让辛顿说出来？当我去年在他伦敦的家见到他时，辛顿对新的大型语言模型所能做的感到惊叹。OpenAI 的最新旗舰模型 GPT-4 已经发布了几个星期。辛顿所看到的让他相信，基于深度学习的这种技术将很快变得比人类更聪明。他担心它在变得更聪明时会有怎样的动机。
“我突然改变了对这些东西是否会比我们更聪明的看法，” 他当时告诉我。“我认为它们现在非常接近，将来会比我们聪明得多。我们该如何生存？”
辛顿的观点引发了数月的媒体关注，并使他和其他人所想象的那种生存风险（从经济崩溃到灭绝机器人）成为主流关注。数百名顶级科学家和科技领袖签署了公开信，警告人工智能的灾难性缺点。人工智能开发的暂停被提出。政治家向选民保证，他们会尽一切努力防止最坏的情况发生。
尽管有这样的关注，许多人认为辛顿的观点是幻想的。Meta 的首席人工智能科学家、辛顿的图灵奖 2018 年获奖者杨立昆（Yann LeCun）称末日论为“荒谬可笑”。
今天的奖项是对一项已成为日常生活中一部分的技术的奠基性工作的奖励。它也肯定会让辛顿更为耸人听闻的观点受到更强烈的关注。
杰弗里·辛顿博士，人工智能领域的先驱人物，坚信大型语言模型 (LLM) 能够真正理解语言，正是这一点让他深感担忧。他在拉斯维加斯举行的 AI4 大会主题演讲中表示：“很明显，我们理解语言的方式与这些大型语言模型非常相似。” 并且人工智能即将超越人类智能，“一旦它们比我们更强大，控制权对它们来说将轻而易决。”
tippapatt/Adobe Stock
为了强调人工智能系统潜在的威胁，辛顿反驳了人们对人工智能模型工作原理的一些常见误解，例如大型语言模型比如 GPT-4 并不真正理解语言，它们只是被美化了的自动完成功能。“这些语言模型只是存储了一堆文本，然后在训练中将它们拼接在一起的想法完全是胡说八道，” 他说道。
1985 年的小型语言模型
相反，Hinton 强调大型语言模型是 Hinton 称之为“小型语言模型”的后代。Hinton 在近四十年前创建了这个模型。当时这个模型用于预测三词字符串中的下一个词，其基本机制与现代大型语言模型大致相同。
尽管 Hinton 的早期模型非常简单，但它为当今最先进的多模态模型奠定了基础。该模型学习为单词分配特征，从随机分配开始，然后通过上下文和交互进行细化。他坚持认为，这个过程本质上就是现代大型语言模型的工作原理，只不过规模更大。回到 1985 年，Hinton 的模型只有大约 1,000 个权重，并且仅使用 100 个示例进行训练。而现在，“机器的运行速度提高了大约一百万倍，” Hinton 说。現代大型语言模型的规模也更大 – 拥有数十亿或数百亿个参数。
LLM 如何镜像我们对语言的理解
Hinton 的工作以及 Yann LeCun、Yoshua Bengio 和 Andrew Ng 等其他人工智能创新者的工作为现代深度学习奠定了基础。最近的一项发展——2017 年发表的“注意力就是你需要的一切”论文，深刻地改变了我们对语言处理和自然语言处理 (NLP) 的理解。
Transformer 的自注意力机制可以让模型直接模拟句子中所有单词之间的关系，而不考虑它们的顺序，这大大提高了计算机理解和复制人类文本的能力。然而， 这样的模型是否真正理解语言的结论遭到了抵制，尤其是一些杰出的语言学家，例如诺姆·乔姆斯基 (Noam Chomsky) 坚持认为，人类语言习得植根于人工智能系统根本缺乏的先天结构和能力。
超越自动完成：揭穿怀疑论者
尽管生成式人工智能模型功能强大，但人们普遍持怀疑态度。评论家经常将这些模型斥责为只是更复杂的“自动完成”功能。然而， Hinton 强烈反对这种说法，他将当今模型背后的基本思想追溯到他早期关于语言理解的工作。
Hinton 颇具影响力的工作包括融合两种看似不相容的意义理论：语义特征理论和结构主义理论。在语义特征理论中，单词通过一系列固有特征来理解。例如，“狮子”和“老虎”等词共享类似的语义特征，例如体型大、食肉动物和猫科动物。该理论源于 1930 年代的心理学，观察到具有相似含义的单词具有相似的语义特征。
另一方面，还有 Hinton 描述的“结构主义理论，符号主义人工智能理论，即单词的含义取决于它在你脑海中与其他单词的关系。” 本质上，人类“有一些命题用某种逻辑语言表示，单词与其他单词在这些命题中扮演不同的角色，这就是定义其含义的方式。”
Hinton 的突破性在于认识到“这两个理论看起来互不相容，但实际上你可以让它们一起工作。” 通过结合这些观点，Hinton 为更全面地理解语言奠定了基础，这后来推动了现代人工智能语言模型在大量文本和其他输入数据上训练的性能大幅提升。
人工智能语言镜像
创造能够理解人类语言的模型具有深远的影响，不仅对计算领域，而且对理解人类最初如何习得语言都有重要意义。“我 1985 年介绍的小型语言模型并不是作为一种语言处理技术引入的，” Hinton 解释道，“它是作为一种关于人们如何学习单词含义的理论引入的。所以实际上，我们拥有关于人们如何理解语言的最佳模型就是这些大型语言模型。”
“符号主义人工智能阵营的人会告诉你，这些模型与我们完全不同，我们理解语言的方式完全不一样，我们是通过使用符号规则来理解的。但他们永远无法让它发挥作用，很明显，我们理解语言的方式与这些大型语言模型非常相似，” Hinton 说。
从表面层面的模式匹配演变
“大型语言模型试图使用多层神经网络来预测下一个单词，利用上下文单词的特征。所以它不仅仅是自动完成。” Hinton 说，大型语言模型的工作原理经常被误解。“另一个反对意见来自符号主义人工智能阵营：它只是自动完成，” 他补充道，“我们理解自动完成，这很容易理解。”
Hinton，一位英裔加拿大人，用“鱼和薯条”作为自动完成如何工作的例子。“如果你看到‘鱼和’，你会查看并说，‘嘿，‘鱼和薯条’出现了很多次，所以‘薯条’是好的预测。’”这种基于单词频率和邻近度的模式匹配是传统自动完成系统的运行方式。
“但自动完成不再是这样工作的，” Hinton 解释道。他强调，现代大型语言模型已经远远超越了这种原始机制。“大型语言模型通过多层神经网络使用上下文单词的特征来预测下一个单词。”
换句话说，大型语言模型“通过将单词转换为特征，让特征相互作用，然后让这些派生的特征预测下一个单词的特征来理解文本——这就是理解，” Hinton 说。
关于编造——在人类和人工智能中
即使是人工智能的缺点，比如生成错误信息或“幻觉”或编造信息的倾向，也与人类认知相似。“嗯，人们总是会产生幻觉……这就是我们记忆的样子，” Hinton 观察道。“大型语言模型的记忆也是如此，这就是为什么它们会编造信息。”
当然，人工智能公司和开发人员正在采用各种策略来减少大型语言模型中的幻觉。但是这种编造仍然是人类和大型语言模型处理信息时的一个真实弱点。Hinton 指出，就像人类经常重构记忆而不是检索确切细节一样，人工智能模型根据模式生成响应，而不是回忆特定事实。
为了说明这一点，Hinton 回忆了约翰·迪恩 (John Dean) 在水门事件期间的证词。“有一个关于约翰·迪恩证词的精彩案例，人们对此进行了高度分析。他在水门事件中作证，他不知道有录音，” Hinton 说。“他作证说在椭圆形办公室举行了所有这些会议。而这些会议从未发生过。它们是编造的会议，但他是在根据记忆说实话。”
Hinton 用这个例子强调，人类记忆和人工智能都可以产生合理但并不准确的事件重建。“我们不储存记忆，而是生成它们，” Hinton 俏皮地说。
