《惨痛的教训》由里奇・萨顿撰写，文章基于 70 年的人工智能研究指出，利用计算的通用方法（搜索和学习）最终最有效，其依据是单位计算成本持续下降 。在计算机国际象棋、围棋、语音识别、计算机视觉等领域，初期借助人类知识的方法虽短期内有效，但长期会受限。最终突破往往源于基于计算的搜索和学习方法。这启示人们要重视通用方法，避免简单构建人类思维内容，应让 AI 自主发现复杂特性。

原文如下：

惨痛的教训

作者：里奇・萨顿

2019 年 3 月 13 日

从 70 年的人工智能研究中能汲取的最重要的经验是，利用计算能力的通用方法最终会展现出极大的优势，效果要远远好于其他方法。这背后的根本原因是摩尔定律，或者更确切地说，是其延伸含义 —— 单位计算成本持续呈指数级下降。大多数人工智能研究在开展时，都假定人工智能体可利用的计算能力是固定不变的（在这种情况下，利用人类知识就成了提升性能的少数途径之一）。然而，相较于一个普通研究项目的周期，在稍长一些的时间跨度内，人工智能体必然会获得强大得多的计算能力。为了在短期内取得显著进展，研究人员试图利用他们对特定领域的专业知识，但从长远来看，真正起决定性作用的是对计算能力的充分利用。这两者并非必然相互冲突，但在实际操作中，它们往往背道而驰。在其中一方面投入时间，就意味着在另一方面投入的时间会减少。人们在心理上也倾向于专注投入某一种研究方式。而且，依赖人类知识的研究方法往往会让技术变得复杂，使其难以借助通用计算方法的优势。有许多人工智能研究人员后来才深刻认识到这一惨痛教训，回顾其中一些典型案例，能给我们带来很多启发。

在计算机国际象棋领域，1997 年击败世界冠军卡斯帕罗夫的方法，是基于大规模深度搜索。当时，大多数研究计算机国际象棋的科研人员对此深感沮丧，他们一直致力于利用人类对国际象棋特殊结构的理解来探索其他方法。当一种使用专门软硬件、基于搜索的简单方法展现出显著优势时，那些基于人类知识开展研究的科研人员难以接受失败。他们声称，“暴力” 搜索或许这次取得了胜利，但这并非通用策略，而且这也不是人类下棋的方式。这些研究人员期望基于人类智慧的方法能够获胜，当结果并非如此时，他们大失所望。

计算机围棋领域的研究进展也呈现出相似的模式，只不过时间上滞后了 20 年。起初，研究人员投入大量精力，试图借助人类知识或围棋的特殊规则来避免搜索算法的运用，但事实证明，一旦大规模高效运用搜索算法，之前所有的努力都变得无关紧要，甚至起到了反作用。同样重要的是，通过自我对弈学习价值函数（这在许多其他游戏甚至国际象棋中也有应用，尽管在 1997 年首次击败世界冠军的程序里，学习的作用并不显著）。自我对弈学习，乃至广义上的学习，与搜索算法相似，都能充分发挥大规模计算的优势。搜索和学习是人工智能研究中利用大规模计算的两类最重要的技术手段。在计算机围棋和计算机国际象棋领域一样，研究人员最初都试图借助人类的认知（以减少搜索的工作量），但直到很久之后，充分运用搜索和学习算法，才取得了更大的成功。

在语音识别领域，20 世纪 70 年代，美国国防部高级研究计划局（DARPA）发起了一场早期竞赛。参赛者采用了多种借助人类知识的特殊方法，例如利用对单词、音素、人类声道等方面的了解。另一边，则是一些基于隐马尔可夫模型（HMM）的新型统计方法，这些方法计算量更大。最终，统计方法战胜了基于人类知识的方法。这一结果在随后几十年里逐渐推动了整个自然语言处理领域的重大变革，统计和计算方法开始主导这个领域。近年来，深度学习在语音识别领域的兴起，更是沿着这一方向迈出的最新一步。深度学习方法对人类知识的依赖程度更低，它们通过在海量训练集上进行学习，并运用更强大的计算能力，打造出了性能大幅提升的语音识别系统。和在游戏领域的情况一样，研究人员总是试图让系统按照他们认为的人类思维方式运行，把相关知识融入系统，但最终这被证明是事倍功半的做法。随着摩尔定律的发展，大规模计算得以实现，并且人们也找到了有效利用它的方法，在此背景下，之前的做法无疑是对研究人员时间的巨大浪费。

在计算机视觉领域，也出现过类似的发展轨迹。早期的方法将视觉理解为边缘搜索、广义圆柱体识别，或者基于尺度不变特征变换（SIFT）特征的处理。但如今，这些方法都已被弃用。现代深度学习神经网络仅运用卷积和某些不变性概念，却取得了更好的效果。

这是一个重要的教训。但作为一个研究领域，我们尚未深刻领会这一点，还在不断重复同样的错误。为了认识到这一问题并有效避免，我们必须理解这些错误产生的原因。我们要吸取这个惨痛的教训：从长远来看，将我们自认为的思维方式融入人工智能并不可行。这个教训基于以下历史观察：第一，人工智能研究人员常常试图将知识赋予他们开发的人工智能体；第二，这在短期内确实会有帮助，并且能让研究人员获得满足感；第三，但从长远来看，这种方式会遇到瓶颈，甚至阻碍进一步的发展；第四，最终取得突破性进展的，往往是采用搜索和学习算法进行大规模计算的相反方法。这种最终的成功带着一丝苦涩，而且人们往往难以完全接受，因为它战胜了以人类为中心、深受大家青睐的研究方法。

从这一惨痛教训中，我们应当认识到通用方法的强大力量。即便计算资源极大丰富，这类方法仍能随着计算量的增加而不断拓展应用。搜索和学习这两种方法，似乎都具备这种无限拓展的潜力。

从惨痛教训中得出的第二个要点是，人类思维的实际内容极其复杂，难以简化理解。我们不应再试图寻找简单的方式去诠释思维内容，比如思考空间、物体、多主体交互或对称性的简易方法。这些都属于外部世界，其复杂性是与生俱来、无穷无尽的。它们不应该被直接嵌入人工智能系统，因为其复杂性难以穷尽。相反，我们只应构建元方法，让系统能够自主发现并捕捉这些复杂特性。这些方法的关键在于能够找到良好的近似解决方案，而寻找的过程应由系统自主完成，而非人为设定。我们希望人工智能体具备像人类一样的发现能力，而不是仅仅包含人类已有的发现成果。将人类的发现直接植入系统，只会增加探索发现过程的难度。