杰弗里-辛顿(Geoffrey Hinton)谈诺姆-乔姆斯基语言理论的疯狂。https://www.youtube.com/watch?v=urBFz6-gHGY
杰弗里·辛顿在接到诺奖委员会的电话时评论说,乔姆斯基学派是错的,是无稽之谈。事实上,他在以前的会议上就评论过乔姆斯基,说他是“来自MIT的疯子”(This CRAZY Man at MIT called Chomsky)。
来源
CBMM10 圆桌论坛:AI 时代的智能研究
发布日期:2023 年 11 月 20 日
录制日期:2023 年 10 月 7 日
CBMM发言人:Tomaso Poggio, Demis Hassabis, Pietro Perona, David Siegel
发言人:Geoffrey Hinton, Ilya Sutskever
会议发言
我认为这些大型语言模型已经结束了这种情况,虽然在乔姆斯基的脑海中可能还没有结束,但在几乎所有其他人眼中已经是事实。顺便提一下关于人工智能对神经科学的影响,值得一提的是,我从本科时期就一直觉得乔姆斯基是完全错误的。此外,我忘了提到一个重要贡献,就是人工智能在神经科学领域的应用。在过去几年里,它帮助我们更好地理解了大脑中语言的本质。
乔姆斯基,一个在麻省理工学院的怪才,一直声称语言完全是天生的,但我们现在知道情况并不一定如此。回顾乔姆斯基关于语言的理论,他的看法显得有些疯狂,因为语言的核心是传达意义,而乔姆斯基似乎忽略了这一点。就好比你想了解一辆汽车的工作原理,绝大多数人会首先考虑发动机是如何让汽车运转的。但乔姆斯基似乎更关心的是,为什么有三轮车和四轮车,却没有五轮车。这种思维方式类似于他对语言的理论,他专注于为什么某些句法结构不可能出现,而忽视了语言如何表达意义这个基本问题。
我认为大型语言模型已经解决了这个问题,虽然乔姆斯基可能还不认可,但大多数人都已经意识到了。此外,人工智能在神经科学中的应用前景广阔,尤其是现在我们拥有了更先进的人工智能工具,可以广泛用于解码大脑状态和分析各种复杂的脑部活动。这与10到15年前我们所做的工作相比,如今我们具备了更强大的技术手段,能够在这一领域取得更大的进展。
Geoffrey E. Hinton 采访的第一反应:“我怎么能确定这不是一个恶作剧电话呢?”电话采访,2024 年 10 月
2024年诺贝尔物理学奖得主杰弗里·辛顿(Geoffrey Hinton)在加利福尼亚的一间酒店房间接到了来自斯德哥尔摩的电话,那是凌晨时分,多位带着瑞典口音的声音让他确认自己获得了真实的诺贝尔物理学奖。在这段刚得知获奖后的采访中,他谈到了机器学习的现状、安全研究的迫切需求,以及他希望这个奖项能让更多人认真对待他所表达的担忧。
采访实录:
杰弗里·辛顿:喂?
亚当·史密斯:您好,请问我是和杰弗里·辛顿通话吗?
杰弗里·辛顿:是的。
亚当·史密斯:我是诺贝尔奖官网的亚当·史密斯打来的。
杰弗里·辛顿:好,我知道你是谁,因为很久之前我就注意到他们会有人打电话收集获奖者的反应。
亚当·史密斯:没错。所以我们可以聊几分钟吗?
杰弗里·辛顿:可以。
亚当·史密斯:非常感谢。首先,当然要祝贺您。
杰弗里·辛顿:谢谢。
亚当·史密斯:您在哪里?您是在什么地方得知这个消息的?
杰弗里·辛顿:我现在在加利福尼亚的一家便宜酒店里,没有网络连接,电话信号也不太好。我原本打算今天去做个核磁共振检查,但我想现在不得不取消了。我完全没想到自己会被提名诺贝尔物理学奖,非常意外。
亚当·史密斯:听起来这个地方倒是个不错的接收消息的地方,因为您有点与世隔绝,可以在一天的忙碌之前整理一下思绪。
杰弗里·辛顿:是的。另一方面,现在是凌晨两点。
亚当·史密斯:哦,天哪,是的,真抱歉。哦,不知道您……
杰弗里·辛顿:我想现在已经三点了。
亚当·史密斯:……不知您是否能冷静下来继续睡觉,还是只能接受今天会是个漫长的一天了?
杰弗里·辛顿:是啊,我不觉得自己还能冷静下来继续睡觉。
亚当·史密斯:确实是个大惊喜。您最初的反应是什么?
杰弗里·辛顿:我最先想到的是,我怎么能确定这不是恶作剧电话呢?
亚当·史密斯:那您是怎么确定的?
杰弗里·辛顿:电话是从瑞典打来的,而且对方有很浓的瑞典口音,而且还有好几个人。
亚当·史密斯:是的,要模仿这么多人估计不太可能。
杰弗里·辛顿:是的。
亚当·史密斯:您如何描述自己?您会说自己是计算机科学家,还是说您是一位试图通过物理理解生物学的研究者?
杰弗里·辛顿:我会说我是一个并不太清楚自己所属领域的人,但我希望了解大脑的工作原理。而在我试图理解大脑的过程中,我帮助创造了一项意外有效的技术。
亚当·史密斯:众所周知,您对技术带来的潜在问题公开表示过担忧。您认为要消除您和其他人所表达的这些担忧,需要做些什么?
杰弗里·辛顿:我认为这与气候变化有很大不同。对于气候变化,大家都知道该怎么做——我们需要停止燃烧碳,这只是个政治意愿的问题,特别是那些赚取巨大利润的大公司不愿这么做。但对于气候变化,人们知道该怎么应对。而在这里,我们面对的是一个我们还不太清楚会发生什么的领域,也不确定该如何应对。我希望有一种简单的解决方案,比如说做了某件事后,一切就会好转。
但很遗憾,我没有这样的答案。特别是在这些技术失控并掌控局面的生存威胁方面,我认为我们正处于历史的分叉点,在未来几年内,我们需要找出是否有办法应对这一威胁。我认为现在非常重要的是,人们应该致力于研究我们如何保持控制权。我们需要在这方面投入大量的研究力量。我认为政府可以做的一件事就是迫使大公司把更多的资源投入到安全研究上。比如,像OpenAI这样的公司,不能把安全研究放在次要位置。
亚当·史密斯:这是否与生物技术革命有些相似,当时生物技术领域的科学家们在阿西洛马会议上聚集在一起,表示这些技术可能存在潜在危险,并且需要自己关注这个问题?
杰弗里·辛顿:是的,我认为有一些相似之处,我认为他们当时的做法非常好。不幸的是,AI的实际应用要比当时生物学家试图控制的克隆等技术多得多,因此这将更加困难。但我认为生物学家的做法是一个很好的借鉴模式,令人印象深刻的是他们达成了共识,而且是由科学家们来完成的。
亚当·史密斯:那么,就像大型语言模型一样,您认为它们比很多人所说的更接近理解?诺贝尔奖在这一领域的影响,您觉得会带来变化吗?
杰弗里·辛顿:是的,我认为它会带来变化。希望它能让我在说这些模型确实理解它们所表达的内容时显得更有说服力。
亚当·史密斯:您担心人们不认真对待您的看法吗?
杰弗里·辛顿:语言学界有一整个流派源自乔姆斯基(Chomsky),他们认为说这些模型理解语言是完全无稽之谈,认为这些模型与我们处理语言的方式完全不同。我认为这个学派是错的。我认为现在很清楚,神经网络在处理语言方面远胜过乔姆斯基学派所提出的任何东西。但这个问题仍然在语言学界有很大的争议。
亚当·史密斯:我想再回到您得知获奖的情景中,您在酒店房间里,半夜得知这个消息。这在某种意义上,是个相对孤独的地方,没有人可以拥抱和一起庆祝。
杰弗里·辛顿:嗯,我的伴侣和我在一起。她很兴奋。
亚当·史密斯:哦,那就好。无论如何,再次恭喜您。
杰弗里·辛顿:谢谢。再见。
亚当·史密斯:再见。