一年前，谷歌最后一位 Transformer 论文作者 Llion Jones 离职创业，与前谷歌研究人员David Ha共同创立人工智能公司 Sakana Al。Sakana Al 声称将创建一种基于自然启发智能的新型基础模型!

现在，Sakana Al 交上了自己的答卷。

Sakana AI 宣布推出 AI Scientist，这是世界上第一个用于自动化科学研究和开放式发现的 AI 系统！

从构思、编写代码、运行实验和总结结果，到撰写整篇论文和进行同行评审，AI Scientist 开启了 AI 驱动的科学研究和加速发现的新时代。

原则上，它可以不断重复科学研究过程，以开放式的方式迭代开发想法，就像人类科学家一样。

研究人员通过将其应用于机器学习的三个不同子领域来展示它的多功能性：扩散建模、基于 Transformer 的语言建模和学习动力学。

每个想法都会被实施并发展成一篇完整的论文，每篇论文的成本不到 15 美元。为了评估生成的论文，研究人员设计并验证了一个自动审阅器，即传统意义上的审稿专家，它在评估论文分数方面的表现接近人类。

AI Scientist 有三个主要阶段：（1）创意生成，（2）实验迭代，（3）论文撰写。撰写完成后，研究人员会引入并验证 LLM 生成的评论，以评估所生成论文的质量。

▲端到端 LLM 驱动的科学发现过程 AI Scientist 的概念说明。

研究人员为 AI Scientist 提供了一个起始代码模板，该模板可重现流行模型或基准的轻量级基线训练运行。例如，这可能是针对莎士比亚作品训练小型 transformer 的代码，这是自然语言处理中的经典概念验证训练运行，可在几分钟内完成。

然后，AI Scientist 就可以自由探索任何可能的研究方向。该模板还包括一个 LaTeX 文件夹，其中包含样式文件和节标题以及简单的绘图代码。一般来说，每次运行都是从与主题领域相关的代表性小规模实验开始的。

鉴于科学家的总体目标是实现科学发现的自动化，为什么研究人员要让 AI Scientist 像人类科学家一样写论文呢？例如，以前的人工智能系统（如 FunSearch 和 GNoME）曾经在受限领域产生了令人印象深刻的科学发现，但它们并不能撰写论文。

该团队认为，AI Scientist 撰写科学论文来传播其发现至关重要，原因如下：首先，撰写论文为人类提供了一种高度可解释的方法，使人类能够从所学知识中受益；其次，在现有的机器学习会议框架内审查书面论文使科学家能够标准化评估；第三，自现代科学诞生以来，科学论文一直是传播研究成果的主要媒介。

为了定量评估和优化生成的论文，研究人员首先创建并验证了自动论文审阅器。结果表明，虽然还有很大的优化空间，但 LLM 能够产生相当准确的评论，并在各个指标上取得与人类相当的结果。

将这个审阅器应用于 AI Scientist 生成的论文，使科学家能够将论文评估范围扩大到人工检查之外。研究人员发现 Sonnet 3.5 始终能生成最好的论文，其中一些论文的分数甚至超过了自动论文审阅器在标准机器学习会议上的接受门槛。

但是，该团队没有理由期望 AI Scientist 像 Sonnet 3.5 这样的单一模型能够保持领先地位。研究人员认为所有前沿 LLM（包括开放模型）都将继续优化改进。LLM 之间的竞争会使它们的商品化和能力都大幅增强。

在这个项目中，研究人员研究了各种专有的 LLM，包括 GPT-4o 和 Sonnet，但也探索了使用 DeepSeek 和 Llama-3 等开放模型。发现开放模型具有显著的优势，例如成本更低、可用性有保证、透明度更高、灵活性更高，尽管质量略差。

AI Scientist 标志着机器学习科学发现新时代的开始：将 AI 智能体的变革性优势带入 AI 本身的整个研究过程，并让科学家更接近一个可以释放无限且经济实惠的创造力和创新，来解决世界上最具挑战性的问题的世界。

最终，「我们设想一个完全由人工智能驱动的科学生态系统，不仅包括人工智能驱动的研究人员，还包括审稿人、领域主席和整个会议。然而，我们并不认为人类科学家的作用会减弱。随着我们适应新技术并向食物链上游移动，科学家的作用将发生变化。」研究人员在论文里表示。