摩尔定律是否始于19世纪?这似乎是一个有趣的问题。
我们正处于一个科技快速颠覆各行各业的黄金时期。与今年相比,上世纪末的互联网泡沫就像小孩在路边摆摊卖柠檬水一样微不足道。
人工智能正在迅速改变我们所知道和关心的一切。
基于此,我想回顾一篇文章,它生动展现了当前发展的步伐,以及我们在未来几年而非几百年内可能实现的目标。
史蒂夫·贾维特森是一位知名风险投资人,曾在惠普工作,现在是 SpaceX 的董事会成员。他是众多行业内部人士之一,正在发表对 AI 未来的预测,认为指数级进步即将到来。
我认为他最近在 X 上发布的帖子及其配套的散点图,不仅描绘了我们的未来,还概述了整个20世纪甚至更早期的发展历程,提供了一幅更广阔的画面。
以下是我从这篇文章中获得的几个主要观点:
摩尔定律始于19世纪
贾维特森提出的最有趣的观点之一是,摩尔定律早在戈登·摩尔对晶体管做出预测之前就已经开始了。他从巴贝奇和分析引擎开始,还包括了一些其他技术,如霍列瑞斯打孔卡片。
这是一个敏锐的分析,但贾维特森真正涉及一些有趣领域的是他对摩尔定律代表意义的思考:
"摩尔在早期集成电路行业中观察到的是一个衍生指标,是一个长期趋势的折射信号,这个趋势引发了各种哲学问题,并预测了令人难以想象的 AI 未来,"贾维特森这样写道,令人着迷。
他说,这已经不再是"以晶体管为中心的指标"。它更多地是关于计算速度的整体增长。
贾维特森的这种柏拉图洞穴寓言式的观点表明,我们才刚刚开始理解我们正处于的数字曲线的真正本质。
英伟达的胜利早已注定
贾维特森指出的另一件事是,英伟达在行业中的胜利也早在很久以前就开始了。
该公司的进展今年才开始成为头条新闻。我们大多数人几个季度前还不知道,到2024年底,这家公司将远远超过同类的任何其他科技公司。我们那时还在谈论英特尔等公司。
但根据贾维特森的说法,英特尔在15年前就已经输掉了这场比赛。
"在过去的128年里,计算前沿已经跨越了许多技术基础,"贾维特森写道。"英特尔15年前就将领导地位让给了英伟达,未来还会有更多的交接。"
他还指出了为什么会发生这种情况:
"英特尔在神经网络领域输给了英伟达,因为 GPU 的细粒度并行计算架构更适合深度学习的需求。处理器针对图形处理进行优化的计算相似性与2014年常见的神经网络中感知皮层的计算需求之间存在一种诗意的美。"
本质上,英伟达押注于 AI,现在正是 AI 的时代,所以也是英伟达的时代。对黄仁勋和他的团队来说,这是一个不错的位置。
看看彭博科技日报的 Ian King 的观点:
"英特尔甚至没有参与与英伟达公司竞争生产加速器以支持 AI 工作负载的竞赛,"King 写道。"数百亿美元正在被用于数据中心设备,这些钱本来会流向英特尔,现在却流向了一个在销售额和市值上都超过它的竞争对手。在服务器和个人电脑处理器方面,英特尔才刚刚开始稳定市场份额的损失。
英特尔的某个人是否应该预见到 AI 的这种转变?可以说,科技界只有一个人做到了,那就是英伟达的黄仁勋。他的公司花了多年时间准备新设计、软件和一系列其他产品,使其处于有利地位,可以利用计算领域的巨大转变。高端芯片设计从概念到生产数百万片需要数年时间。"
很有趣...
实验室科学和模拟科学
贾维特森在文章后面关于"试错"科学过程变化的一段话引起了我的注意。
"当摩尔定律跨越关键阈值时,以前的实验室试错科学变成了模拟科学,进步的步伐急剧加快,为新行业的新进入者创造了机会,"他写道。"考虑特斯拉和 SpaceX 的自主软件堆栈,以及它对汽车和航空航天行业的影响。"
这番话很适合一位 SpaceX 董事会成员说...
不过,我认为主要观点是,有了我们现有的数据和流程,我们能够进行极其精细的模拟,从而消除了20世纪那种实验室科学。
就在昨天,我写了关于英伟达的 Mike Pritchard 为我们提供整个地球数字孪生的见解。这正好符合这一突破性的想法,即我们将用基于模拟的科学取代实验室科学,这种科学在假设阶段就已经比以前知道得更多。
对商业的影响
所有这些都很有趣,但贾维特森还对商业有一个相关的预测。
"我们星球上的每个行业都将成为信息行业,"他说。"以农业为例。如果你问20年后的农民他们如何竞争,这将取决于他们如何使用信息 —— 从卫星图像驱动的机器人田间优化到种子中的代码。这与工艺或劳动力无关。随着 IT 渗透经济,这最终将渗透到每个行业。"
这在某种程度上是上述观点的延续,但如果我们有能力基于大数据进行模拟,那么数据将比现在更加重要。
历史是否在重复?
这些是我从这篇文章中得到的一些主要观点,但这里还有一个基于名字的奇怪观点。
当你看贾维特森的图表时,你会看到1940年代有一个叫做"巨人"的条目。这涉及英国工程师基于洛伦兹动力学破解德国密码。
现在,马斯克和 XAI 正在用他们自己的新"巨人"数据中心掀起波澜,随着数据中心战争升温,我们可能会听到更多相关信息。
那么,今天的"巨人"制造者是否是以1940年代的计划命名他们的项目?
我们问了 ChatGPT。以下是我们得到的回答:
"由埃隆·马斯克的公司 xAI 开发的巨人超级计算机是一个最先进的 AI 训练系统,拥有100,000个 NVIDIA H100 GPU,计划扩展到200,000个 GPU,包括50,000个 NVIDIA 的下一代 H200 芯片。这个庞大的计算基础设施旨在训练先进的 AI 模型,如 xAI 的 Grok 系列。'巨人'这个名字具有历史意义,特别是与二战期间英国开发的用于破译德国通信的代码破译计算机有关。此外,'巨人'是1970年一部关于获得知觉的超级计算机的科幻电影的标题。有人推测 xAI 的超级计算机可能是以这部电影中的计算机命名的。然而,xAI 尚未公开确认'巨人'这个名字的具体灵感来源。因此,虽然这个名字可能指的是战时计算机或虚构的超级计算机,但确切的命名理由仍然未明确。"
这是另一个例子,说明我们如何利用 AI 模型来发现事物。谷歌搜索已经过时了。大语言模型可以立即筛选所有可用信息,并像一个智慧的朋友一样,准确地告诉你情况如何。例如,在这里,你可以了解两个项目的历史,并得到关于你的问题的最佳可能评估。