无需训练让AI学会人类抽象思维会抽象的AI更会推理

什么时候，AI能像人类那样搞抽象？

咳咳……这里的抽象，指的是这个词的本义[doge]

传统的思维链（CoT）方法强制AI用离散的语言符号逐步推理，简单来说，就是让AI一步一步地用我们能理解的文字符号来推理。【图1】

听起来挺好，但跟我们人类思考的方式比起来，它有几个“硬伤”：

人类使用概念思考，而不仅是词汇。我们人思考问题，脑子里会先冒出各种各样的想法，但CoT每一步就得把之前所有的可能性都“砍掉”，只留下一个最可能的结果。

这样一来，AI的探索空间和表达能力就大大受限了。

来自加州大学圣巴巴拉分校的研究团队，提出了一种名为Soft Thinking的方法，无需进行额外训练，就突破了传统AI只能用离散语言推理的瓶颈！【图2】

Soft Thinking具体是怎么做到的呢？有赖于这三招。

- 概念词元：每一步不再选择单一词元，而是保留完整的概率分布，让AI不着急立马下定论。

- 连续概念空间：通过词元嵌入的加权混合生成新表征，形成连续的概念空间。这种“叠加态”保留了多条推理路径，避免过早坍缩，实现更丰富、更灵活的思考。

- Cold Stop机制：通过计算概念词元的熵来判断模型的置信度，当模型在连续几步中表现出高置信度时，提前终止推理。当AI对自己的结论十拿九稳时，它就会提前“收工”，避免不必要的计算和犯错。

三板斧一下，Soft Thinking在数学（Math500、AIME 2024等）和编程（HumanEval、LiveCodeBench等）共8项基准测试中，都展现出了惊人的实力：推理准确率显著提升、词元消耗大幅降低。【图4】

让AI像人一样“抽象思考”，不仅仅能让它更聪明，还能让它更有效率！

感兴趣的朋友可以点击项目主页：

论文原文：

代码仓库：