我们目前的人工智能系统可能有一天会进化成一个超级智能实体，但科学家们还不确定这可能是什么样子，也不确定这意味着什么。

人工智能（AI）的快速发展促使人们质疑这项技术的根本局限性是什么。一个曾经只存在于科幻小说中的话题 —— 超级智能人工智能的概念 —— 现在正受到科学家和专家们的认真考虑。

机器有一天可能会赶上甚至超过人类智能的想法由来已久。但近几十年来，人工智能的发展速度让这个话题再次变得紧迫起来，尤其是自从OpenAI、谷歌和Anthropic等公司发布了强大的大型语言模型（llm）以来。

专家们对“人工超级智能”（ASI）这个概念的可行性以及何时出现有着截然不同的看法，但有些人认为，这种超能力的机器指日可待。可以肯定的是，如果ASI真的出现，它将对人类的未来产生巨大的影响。

伦敦大学学院人工智能教授、谷歌DeepMind首席科学家Tim Rocktäschel在接受媒体采访时表示：“我相信我们将进入一个自动化科学发现、经济增长大幅加速、寿命延长和新奇娱乐体验的新时代。”这是他的个人观点，而不是谷歌DeepMind的官方立场。然而，他也警告说：“就像历史上任何重大技术一样，存在潜在风险。”

什么是人工超级智能（ASI）？

传统上，人工智能研究的重点是复制智能生物所表现出的特定能力。这些功能包括可视化分析场景、解析语言或导航环境的能力。Rocktäschel表示，在这些狭窄的领域中，人工智能已经取得了超人的表现，尤其是在围棋和国际象棋等游戏中。

然而，该领域的长远目标一直是复制动物和人类身上更普遍的智能形式，这种智能结合了许多这样的能力。多年来，这个概念已经有了几个名字，包括“强人工智能”或“通用人工智能”，但今天它最常被称为人工通用智能（AGI）。

“长期以来，AGI一直是人工智能研究的北极星，”Rocktäschel表示。“然而，随着基础模型（LLM的另一个术语）的出现，我们现在拥有了可以通过各种大学入学考试、参加国际数学和编程竞赛的人工智能。”

Rocktäschel表示，这使得人们更加认真地看待AGI的可能性。至关重要的是，一旦我们创造出在广泛任务上与人类相匹配的人工智能，它可能很快就会全面实现超人的能力。不管怎样，这就是我们的想法。“一旦人工智能达到人类水平的能力，我们将能够利用它以自我参照的方式改进自己，”Rocktäschel表示。“我个人认为，如果我们能达到AGI，我们很快就会达到ASI，也许再过几年。”

一旦达到这个里程碑，我们就可以看到1965年英国数学家欧文·约翰·古德（Irving John Good）所说的“智力爆炸”。他认为，一旦机器变得足够聪明，能够自我改进，它们将迅速达到远远超过人类的智能水平。他将第一台超智能机器描述为“人类需要创造的最后一项发明”。

著名的未来学家雷·库兹韦尔（Ray Kurzweil）认为，这将导致一个“技术奇点”，它将突然地、不可逆转地改变人类文明。这个术语与黑洞中心的奇点相似，在那里我们对物理学的理解崩溃了。同样，人工智能的出现将导致快速和不可预测的技术增长，这将超出我们的理解。

这种转变何时会发生还有待商榷。2005年，库兹韦尔预测，人工智能将在2029年出现，奇点将在2045年出现，此后他一直坚持这一预测。其他人工智能专家给出了各种各样的预测 —— 从这10年内到永远不会。但最近一项对2778名人工智能研究人员的调查发现，总的来说，他们认为到2047年，人工智能出现的可能性为50%。一项更广泛的分析表明，大多数科学家都认为人工智能可能会在2040年到来。

ASI对人类意味着什么？

像ASI这样的技术的影响将是巨大的，促使科学家和哲学家投入大量时间来绘制人类的希望和潜在的陷阱。

人工智能公司Satalia和consciousness的首席执行官丹尼尔·赫尔姆（Daniel Hulme）表示，从积极的方面来看，一台拥有几乎无限智能能力的机器可以解决世界上一些最紧迫的挑战。特别是，超级智能机器可以“消除食品、教育、医疗、能源、交通的创造和传播中的摩擦，以至于我们可以将这些商品的成本降至零，”他告诉媒体。

赫尔姆解释说，希望这能让人们从为生存而工作中解脱出来，把时间花在他们热爱的事情上。但是，除非建立系统来支持那些因人工智能而失去工作的人，否则结果可能会更加黯淡。他说：“如果这种情况很快发生，我们的经济可能无法实现再平衡，并可能导致社会动荡。”

这也假设我们可以控制和指挥一个比我们聪明得多的实体 —— 许多专家认为这是不可能的。赫尔姆说：“我并不认为它会监视我们，照顾我们，确保我们快乐。”“我无法想象它会在意。”

我们无法控制的超级智能的可能性引发了人们的担忧，即人工智能可能会对我们人类的生存构成威胁。这已经成为科幻小说中一个流行的比喻，《终结者》（Terminator）或《黑客帝国》（The Matrix）等电影描绘了一心想毁灭人类的恶毒机器。

但哲学家尼克·博斯特罗姆（Nick Bostrom）强调，在各种世界末日的场景中，人工智能甚至不必主动敌视人类。在2012年的一篇论文中，他提出，一个实体的智能与它的目标是独立的，所以ASI可能有与我们完全陌生的动机，与人类的福祉不一致。

博斯特罗姆用一个思想实验充实了这个想法，在这个实验中，一个超级有能力的人工智能被设置了一个看似无害的任务，即尽可能多地生产回形针。如果与人类的价值观不一致，它可能会决定消灭所有人类，以防止人类关闭它，或者这样它就可以把人类体内的所有原子变成更多的回形针。

Rocktäschel更为乐观。他说：“我们把现有的人工智能系统设计成有帮助的、无害的、诚实的助手。”“它们会听从人类的指令，并接受反馈训练，以提供有益、无害和诚实的答案。”

虽然Rocktäschel承认这些安全措施是可以绕过的，但他相信我们将来会开发出更好的方法。他还认为，使用人工智能来监督其他人工智能是可能的，即使它们更强大。

赫尔姆说，目前大多数“模型校准”的方法 —— 努力确保人工智能与人类的价值观和欲望保持一致 —— 都太粗糙了。通常，他们要么提供模型应该如何表现的规则，要么在人类行为的例子上训练它。但他认为，这些在培训过程结束时固定的护栏很容易被ASI绕过。

相反，赫尔姆认为我们必须用“道德本能”来构建人工智能。他的公司良知正试图通过在虚拟环境中发展人工智能来实现这一目标，这些虚拟环境被设计成奖励合作和利他主义等行为。目前，他们正在使用非常简单的“昆虫级”人工智能，但如果这种方法可以扩大规模，它可能会使校准更加强大。赫尔姆说：“在人工智能的本能中嵌入道德，比仅仅设置这种打地鼠式的护栏要安全得多。”

不过，并非所有人都认为我们需要开始担忧。Rocktäschel表示，对ASI概念的一个普遍批评是，我们没有人类在广泛任务中表现出色的例子，因此在一个模型中也可能无法实现这一目标。另一个反对意见是，实现ASI所需的纯粹计算资源可能令人望而却步。

瑞士苏黎世联邦理工学院（ETH）人工智能中心（ETH AI Center）负责人亚历山大·伊利克（Alexander Ilic）表示，更实际的是，我们衡量人工智能进展的方式可能会误导我们，让我们不知道我们离超级智能还有多远。Ilic表示，近年来，人工智能领域大多数令人印象深刻的成果都来自测试系统对个人技能（如编码、推理或语言理解）进行的几项高度人为的测试，这些系统经过明确的训练，可以通过测试。

他把这比作学校里为了考试而死记硬背。他说：“你把脑子装满了，然后写了试卷，然后就把它忘得一干二净。”“参加课程会让你更聪明，但实际考试本身并不能很好地代表实际知识。”

伊利克说，人工智能能够通过超人水平的许多测试可能只需要几年的时间。但他认为，当今的主导方法不会产生能够在物理世界中执行有用任务或与人类有效合作的模型，而这对于它们在现实世界中产生广泛影响至关重要。

如果朋友们喜欢，敬请关注“知新了了”！