我觉得非常有启发性的一点是，人工智能如何能够突破鸿沟和界限，找到一些新的线索。因为人工智能今天最擅长的是一种representation，即从高维到低维的映射能力。**虽然这种映射过程中它可能会丧失一些信息，但它的信息保有量依然非常好，能够用相对低维的信息解释高维的信息。

比如，我们可以想象一个理想气体，有阿弗加德罗常数这样非常庞大的数值，但我们不可能用这么大的参数来描述每个粒子的相互作用。我们依然可以用压强、温度和体积三个简单的量来很好地描述这个系统。只要气体系统处于平衡态，这三者就足以描述整个系统。

然而，如果系统不是平衡态，而是一个高度动态流体系统，我们需要找到一种既能有效压缩信息，又无需完全模拟的方法来描述它。这是当今物理学一个非常困难的问题，也许人工智能可以提供一些新线索和方法。

2. 诺贝尔奖与AI先驱的贡献

关于人工智能奖项，我认为诺贝尔奖颁给两位神经网络的先驱，这一决定是震惊而难以理解的，但他们确实对AI领域做出了巨大贡献。

比如，现在有些系统变量非常多，需要找到宏观变量来概括整个系统。这是一件非常困难的事情，也许未来AI可以找到自动寻找这些宏观变量的方法。虽然关于Hinton得奖与否存在争论，但我认为他在AI寒冬期坚持研究的精神是值得诺贝尔奖认可的。他坚持研究大脑运作的初心，探索没有backpropagation（反向传播）的方法，这一点非常值得敬佩。

最后，我有一个好奇的问题：如果一个基于backpropagation的人工智能算法，比如大语言模型，能够非常好地模拟人的认知和推理行为，当我们研究这个模型内部的结构时，是否有助于理解人类的大脑运作？

这个问题让我想到一个思想实验：如果没有爱因斯坦的广义相对论，但有一个非常精确的大模型能预测一切与广义相对论有关的现象，那么研究这样的模型结构是否能帮助我们理解新的引力理论？这是一个值得深入探讨的问题。

今天我们探讨了广义相对论和人工智能大模型Transformers的类比关系。我在思考，如果在一个没有爱因斯坦的世界里，引力和广义相对论的发现逻辑，能否类比为在一个有Transformers但没有爱因斯坦的世界里，人工智能模型对物理定律的发现。

这样的类比或许有相似之处，但并不完全恰当，因为关心如何发现新物理定律的根本问题上，**AI能帮助发现物理定律，但主要在数学公式层面回归，而非通过模型内部运算，这是因为AI在做内差（插值）很好，但在外差（外插）上表现不佳。

物理学的一个本质目标就是做外差，很容易在遇到未曾见过的数据时过拟合。因此，如果我们只关注预测本身，不在意背后的规律，这是可以的。但如果我们希望探究物理定律背后的简化规律，这仍需要在数学和理论层面进行。

我推荐大家阅读Hofer的论文，以及他自传性的文章《Now What》。**Hofer的研究是在多学科之间吸取养分，用广泛的视角和灵活的方法来研究复杂系统和认知学习。**他用类比原子的相互作用来解释神经元之间的相互作用，从而解释认知现象，这种联想能力和跨学科的视角非常值得学习。

即使今天，物理学和其他自然科学对AI的影响依然巨大，比如diffusion model和物理学的联系，特别是偏微分方程和布朗运动。此外，energy base model也是一个例子。因此，未来的科学发展，尤其是跨学科的研究，会越来越重要。