站在AGI的大门前,为何我们开始感到恐惧?

镁客网 2023-11-27 18:12:37

AGI来得太快了吗?

谁曾想到,一场惊动整个科技圈的内斗大戏,起因竟是一封信。

据路透社透露,在Sam Altman遭解雇之前,曾有OpenAI的研究人员向该公司董事会发出举报信,警告一种强大的人工智能可能会威胁到人类。

这是一个名为Q*(读:Q-stard)的AI模型,知情人士表示这可能是OpenAI在AGI方向上的最新突破。

长期以来,硅谷大佬们针对“AI安全”的争论一直没有罢休。

或许正因如此,这项可能是下一个革命性技术的直接最新发现,才能被内部人士提前曝光。

关于新模型究竟是什么,目前能知道的信息还很少,但从OpenAI的社区留言可以看出来,大多数人对于Q*的到来并不欢迎。

什么是Q*

根据外媒的曝光,我们先来简单介绍一下Q*。

Q*的前身是由Ilya Sutskever团队在2021年发起的GPT-zero项目,目的是解决了合成数据的问题。

如果说此前训练大模型的数据大多源于网络个人数据,而GPT-zero项目可以用计算机生成的数据训练,一下子就解决了数据来源的瓶颈。

对于AI公司们而言,数据也是一种资源。尤其是高质量的语言数据,更是直接决定大模型的质量。

在大模型混战面前,AI公司都是将数十亿参数起步,以TB为单位的数据集进行喂养。不仅数据集可能被耗尽,价格也是水涨船高。

因此当合成数据出现后,就能像永动机一样可以无限生成高质量的数据,从而解决数据问题。

在谈到GPT-zero项目,马斯克也评论称:“Synthetic data will exceed that by a zillion.(合成数据可以超过1ZB)”。

对比目前已有的数据,一个硬盘就能装下(lt's a little sad that you can fit the text of every book ever written byhumans on one hard drive )。

在GPT-zero的研究成果下,OpenAI两位高级研究人员Jakub Pachocki 和 Szymon Sidor构建了Q*模型,

虽然目前可能水平并不高(小学生数学能力),但专业人士认为该模型能够解决此前从未见过的数学问题。

而这又牵涉另一个技术——Q-learning算法。

这是一个经典的强化学习算法,有很强的规划能力但不通用、不可泛化;而大模型的优势就是近乎大模型具备了人类水平的泛化能力,又称举一反三。

那么将两者合二为一后,这种既有规划能力,又有泛化能力的大模型,已经非常接近人脑,可以自主学习和自我改进,而最终的结果:大概率可以出现自主决策,并具备轻微自我意识,成为接近超越人类的AGI。

如果报道内容属实,我们可以设想一下,在商业化和安全性观念分歧下,保守派代表Ilya Sutskever高调主导这次罢免Altman事件。

就在今年7月时,Ilya Sutskever就从组建了一个团队,致力于限制AI潜在的安全威胁。

而在Altman回归OpenAI后,Ilya Sutskever没能留在董事会。

图 | Ilya Sutskever在Ted上谈论AI安全

目前,OpenAI并未对Q*的报道发表回应,OpenAI究竟是不是实现了AGI,我们也只能等后续的报道。

人们在担忧什么?

在报道发出后,OpenAI 开发者论坛的网友们开始了激烈的讨论。

从几个高赞评论可以看出来,大多人对于Q*的到来还是表现地担忧。

不少人表示,AGI到来的速度比想象得太快,由此带来的负面影响,甚至大于大模型本身。

这不免让人联想到此前硅谷大佬们针对“AI安全”的争论——为何在新时代到来前,恐惧、不安也会开始涌现?

让我们以最近DeepMind公布的论文作为参照。

评估一个系统是否符合AGI 的定义,需要从六个维度考虑:广泛性和性能、自主性、持久性、递归性自我改进、任务自主选择、目标驱动。

其中,单就广泛性和性能来说,AGI的最高等级是超越人类(Superhuman AGI),即在所有任务上都能超过100%的人类。也只有这样,才算达到了真正的AGI。

如果再对应其他维度,又可以发现AGI的发展其实会引发许多伦理和安全问题

最终在机遇面前,风险也无法避免:在一些特定领域,AGI可能会超越人类,在关键角色中取代人类,或进行递归性自我改进。一旦这样的AGI最终实现,将彻底改变我们的社会、经济和文化。

有意思的是,网友们对于AGI的恐怖,其实更多出于AI公司垄断的担忧。

从前文可以看出来,想定义AGI是一件非常复杂的事情。如果询问不同的AI专家,或许会给出不同但有联系的答案。

在这种情况下,想要决定某件事是否是AGI,完全是取决于AI公司的领导人。

一旦人工智能在商业化取得可行性方面,同时又能既得利益,这样一款产品很有可能成为一种“垄断”。

我们都知道,Sam Altman其实是一位对AI商业化特别执着的人。作为激进派的代表,Sam Altman对于AGI一直都是最积极的态度。

然而在非营利治理结构下,无论是Sam Altman,甚至微软,一旦开始做出危险的或违背人类利益的行为,董事会都可以直接驱逐。

这也与这次事件的前期发展十分相似。

不过随着Sam Altman回归OpenAI并重组董事会,目前已有的三人均未独立董事。换句话说,董事会其实无法驱逐。甚至自己都被颠覆了。

在缺少了监管后,OpenAI只剩下政府监管机构这一限制。

然而作为OpenAI背后的大金主,微软在美国政府的AI监管对局里,一直扮演积极推进AI的角色,最终政府的监管对于OpenAI的影响也会越来越小。

在利益面前,关于Q*乃至AGI技术本身,似乎也很少有人讨论了。

本文作者:jh,观点仅代表个人,题图源:网络

1 阅读:103

镁客网

简介:硬科技第一产业媒体,提供最有价值的行业观察。