华为破解大模型数学瓶颈华为全新高阶推理框架
大模型越来越大,通用能力越来越强,但一遇到数学、科学、逻辑这类复杂问题,还是常“翻车”。
为破解这一痛点,华为诺亚方舟实验室提出全新高阶推理框架 ——思维森林(Forest-of-Thought,FoT)。
该方法借鉴人类“多角度思考、反复验证”的认知方式,打破传统LLM的线性推理范式,通过构建多棵并行推理树,引入动态自我修正机制与多视角共识决策策略。
论文将在7月份召开的ICML 2025大会上发表和开源。
在此基础上,FoT在多个数学推理任务中表现突出,进一步展现了FoT相较于ToT(Tree-of-Thought)更优的推理能力。
具体而言,在GSM8K数据集上,结合FoT的QwQ-32B模型准确率高达97.33%,超过了GPT-4o和rStar-Math等先进模型;在更具挑战性的AIME 2024测试中,更是将准确率提升至53.33%,较对比方法rStar-Math高出6.66%。
一起来看技术详情👇