Ilya Sutskever 是人工智能领域极具影响力的人物,堪称 OpenAI 乃至整个 AI 领域的灵魂所在。
他师从被称为 “人工智能教父”的Geoffrey Hinton,是扩展假设的早期倡导者,这一假设认为只要拥有大量计算能力,AI模型的性能将会提高,而该想法及其实施更是引发了对芯片、数据中心和能源的AI投资浪潮,为ChatGPT等生成式AI的进步奠定了坚实基础。
在过往的科研生涯中,Ilya Sutskever 参与或主导的工作一度改变了计算机视觉领域、机器翻译甚至自然语言处理领域的研究进程。他与他人合作开发的AlexNet,在当年的ImageNet大规模视觉识别挑战赛中以显著优势一举夺魁,相关论文引用次数超过60000次,对深度学习走向主流以及GPU成为主流AI训练芯片都功不可没。后来在谷歌大脑(Google Brain)团队时,他主导研发的序列模型Seq2Seq模型,击败了当时表现最好的翻译器,带动了谷歌翻译取得巨大进步。而且如今主流大模型所普遍采用的Transformer架构,最初也是为了解决Seq2Seq问题而诞生的。
Ilya Sutskever 更是在OpenAI发挥了关键作用,他确定了“压缩即智能”的研究理念,领导OpenAI发明GPT-1、GPT-2,奠定了GPT的理论基础,后续GPT模型一步步发展到GPT-3、GPT-3.5(ChatGPT)、GPT-4,每一次更新换代都是自然语言处理领域的突破性进展。可以说,OpenAI的研发工作主要是由Ilya Sutskever和Greg Brockman牵头的9位科学家进行的,从实际的研发角度来看,他是OpenAI发展历程中至关重要的核心推动者。
他的研究工作被引用超过 40 万次,成为引用量最多的计算机科学家之一,还曾在2015年被MIT列为全球35位最重要的创新者之一,时代杂志也将他评为最具影响力的人物之一。2023年《自然》年度十大人物评选中,Ilya Sutskever也凭借在开发ChatGPT和其底层大型语言模型中发挥的关键作用而入选,要知道ChatGPT在当年占领了各种新闻头条,对整个社会产生了广泛影响,科学界乃至全社会都切身感受到了它带来的改变,Ilya Sutskever能作为其背后的核心科学家入选,足以见得他在人工智能领域的权威性与影响力。
Ilya Sutskever 的核心观点呈现预训练时代的终结Ilya Sutskever 在NeurIPS 2024大会上明确提出,预训练作为AI模型开发的第一阶段即将走向尽头。他将数据比喻为AI发展的“化石燃料”,而如今我们面临着数据枯竭的状况。尽管算力在更好的硬件、算法以及更大集群的推动下快速增长,但数据的增长却已触顶。毕竟互联网只有一个,其中人类生成的内容是有限的,就像石油这种有限资源一样,AI发展的数据“燃料”即将耗尽。虽然现有的数据仍可助力人工智能继续发展一段路程,但业界正在积极探寻新的数据来源用于训练。这种趋势必然会促使人们改变当前训练模型的方式。例如,过去十年间,深度学习模型的发展高度依赖大量的互联网文本数据进行预训练,然而随着数据增长的停滞,模型难以从海量数据中获取更多新的知识模式,预训练的效果也逐渐趋于平缓,继续单纯依靠这种方式来提升模型能力变得愈发困难。
人工智能新特性展望Ilya Sutskever 还预测,未来的人工智能将“真正实现代理化”。尽管他在演讲中未对“代理”一词进行详细定义,但通常人们认为这意味着人工智能系统能够像一个自主的个体一样,独立执行任务、做出决策,并与软件进行交互。例如,在智能客服场景中,未来的AI代理可以主动分析客户问题,无需人工干预就执行如查询数据库、处理订单等一系列任务,并且根据客户需求动态调整服务策略。
他还指出,未来的人工智能系统将具备推理能力,这与当前主要基于模式匹配的 AI 有着本质区别。当下的AI主要是依据之前见过的模式来处理新情况,而具备推理能力的AI将能够以更类似人类思考的方式,逐步分析问题、解决问题。比如在解决复杂的数学问题时,它可以像人类一样运用逻辑推理,从已知条件出发,推导出最终答案,而不是仅仅依靠记忆中的相似问题答案。Ilya Sutskever认为,系统的推理能力越强,其行为的不可预测性也会相应增加,就如同高级人工智能在下棋时的表现,让最优秀的人类棋手也难以捉摸,因为它们能够从有限的数据中理解事物的本质,并且不会像人类一样在面对复杂情况时感到困惑。
对超级智能的大胆预测对于超级智能,Ilya Sutskever 认为它将与现有的AI有质的不同。超级智能人工智能将具备能动性、推理能力和自我意识,其行为将变得极为难以预测。他提到,这种系统将以一种真正意义上的代理身份存在,能够以超越当前AI的方式理解和处理信息,甚至可能拥有自我意识,从有限的数据中洞察事物的内在逻辑。
人工智能构建方式改变的影响对技术研发方向的影响随着 Ilya Sutskever 提出人工智能构建方式即将改变,这无疑给技术研发方向带来了深远影响。在数据方面,由于当前面临着数据枯竭的状况,就如同石油这种有限资源一样,互联网中可供AI发展的数据“燃料”即将耗尽,尽管现有的数据仍可助力人工智能继续发展一段路程,但业界正在积极挖掘新的数据来进行训练。例如,科研人员开始探索如何从专业领域的小众数据库、物联网设备收集的实时数据,甚至是通过模拟生成的数据等渠道获取新的数据资源,以此来打破数据瓶颈,为模型训练注入新的“动力”。
同时,研发人员也在努力探索超越目前预训练工作方式的新扩展方法。过去十年间,深度学习模型高度依赖大量互联网文本数据进行预训练,可如今随着数据增长停滞,预训练效果趋于平缓,继续单纯依靠此方式提升模型能力愈发困难。所以,像自监督学习、迁移学习和小样本学习等新兴方向备受关注。自监督学习通过利用未标注数据进行预训练,能让模型在面对新任务时更灵活、高效;迁移学习使得预训练模型可以快速适应不同领域,提升了其泛化能力。此外,生成式 AI 的崛起也促使研究团队积极探索新的生成模型,例如生成对抗网络(GAN)和变分自编码器(VAE)等技术,它们在执行文本、图像生成等任务上表现出了惊人的性能,推动了内容创作的革命,也为人工智能的发展开拓了新的路径。
对社会层面的影响若人工智能构建方式发生改变,其在人们日常生活、工作等方面也会带来诸多变化。在不同行业应用场景中,AI 功能的转变将对业务开展、人机交互等产生重要影响。
以医疗行业为例,以往的 AI 可能更多是基于大量医疗数据进行预训练后,辅助医生进行病情诊断等基础工作,而未来具备推理能力、真正实现代理化的AI系统,或许可以像经验丰富的医疗专家一样,主动深入分析患者的复杂病症,综合多方面因素制定个性化的治疗方案,并且能实时根据患者病情变化动态调整治疗策略,极大地提高医疗效率和质量,改变传统的医疗服务模式。
在教育领域,AI 不再仅仅是提供标准化学习资料、解答常见问题的工具。它能够根据每个学生的学习进度、知识掌握情况以及学习习惯等,为学生量身定制学习计划,像一位专属的智能导师一样,引导学生进行思考、培养其自主学习能力,甚至可以实时与学生互动交流,以更贴合学生需求的方式开展教学,使教育变得更加个性化、高效化。
在智能客服场景中,未来的 AI 代理可以主动分析客户问题,无需人工干预就执行如查询数据库、处理订单等一系列任务,并且根据客户需求动态调整服务策略,为客户提供更加流畅、高效的服务体验,改变现有的人机交互模式,让客户能更便捷地解决问题。