来源：清熙
笔者去年整理的大模型数理原理，迎来了最强有力的实践证明！
原理回顾
笔者在“GPT4技术原理”系列文章梳理出来大模型数理认知框架如下图：
笔者在降低大模型幻觉的必由之路文中针对重整化、范畴与transformer之间的关系做了详细的阐述：
重整化本质是尺度从小到大粗粒度化概率分布的过程，而深度神经网络擅长学习小尺度结构逐级到认知全局特征，而大模型的Transformer 则可以逆重整化流，逐尺度重建微观概率分布，从而完成生成。这里的范畴是Transformer视角下的高维概率向量编织起来的事物之间的各种复杂的关系。从海量的预训练数据集中提纯出来，对大量的分段线性核函数参数化后的表达。这些关系，关系的关系，关系的关系的关系，本质上，在范畴论概念下，就是对事物的米田嵌入。
最新实证
麻省理工学院 Markus J. Buehler 教授最近在《机器学习：科学与技术》发文【文献1】，展示了一种先进的 AI 方法：集成生成式知识提取、基于图的表征和多模态智能图推理。惊人地揭示了生物组织和贝多芬的“第九交响曲”之间的复杂性与秩序的共同模式。
该工作使用受范畴论启发的方法开发的图作为中心机制，教模型理解科学中的抽象结构和它们之间的符号关系，通过关注对象及其交互，而不是它们的具体内容，来理解和统一不同的系统。
我们知道，范畴论中，对象可以是任何东西，从数字到更抽象的实体，如结构或过程，对应上文笔者讲的“事物”；形态则是定义这些对象之间关系的箭头或函数，对应上文中的“米田嵌入”。
Buehler 教授通过范畴对象和形态教会 AI 模型系统地推理复杂的科学概念和行为。通过形态引入的符号关系清楚地表明，AI 不仅仅是在进行类比，而是在进行更深入的推理，以映射不同领域的抽象结构。
这也回应了近期大模型究竟会不会推理的业界大辩论。当大模型生成的时候，已经不是那个简单的 next token prediction, 而是基于丰富范畴的推理、推理、推理，重要的事情得说三遍。Ilya Sutskever最新访谈提到的「扩大正确的Scaling」，应该指推理的Scaling law。
“苹果称LLM不会推理”其实是苹果学者想当然合成了语料；字节豆包大模型团队大规模实验发现大模型无法抽象出一般物理规则，从实验看并无法判断是否局部触发了scaling law。
Buehler 教授通过这个方式，分析了 1000 篇有关生物材料的科学论文，并将其转化为图表征形式的知识图谱。
教AI系统思考基于图的数据，以帮助它们构建更好的世界模型表征，并提高思考和探索新想法的能力，以实现超出人类认知的高维新发现：回答复杂的问题，发现当前知识中的差距，提出新的材料设计，预测材料的行为方式，还能够将以前从未连接过的概念联系起来。
生物材料和“第九交响曲”之间出乎意料的相似之处：两者都遵循复杂性模式，生物材料中的细胞以复杂但有组织的方式相互作用以形成功能，贝多芬的第九交响曲则以创造一种复杂但连贯的音乐体验为目标安排音符和主题。
通过追踪联系进行图遍历，能够找到以前尚未建立的概念之间的联系，或未理解为以任何已知方式相关的概念。使用生成式 AI 模型的复杂推理可以提供更深入的见解，产生新的信息连接，从而产生新知识，甚至促进新想法的发现。
探索复杂的图遍历为分析提供广阔的空间，既可以确定单个最可能的路径，也可以对多个路径进行采样。图形是通过合并所有节点来构建的，即使它们来自不同的路径。整体图具有明显不同的拓扑结构，并在边缘编码的概念及其关系之间提供了新颖的联系。表明了非常灵活的图可以被构建并最终用于推理。
图表征了相应领域知识的本体结构，可用于支持该特定科学研究中的推理，例如提出有关材料特性的假设或预测组合不同材料的可能结果，还可以帮助识别知识差距，提出新的研究领域，并促进对材料科学或不同学科之间复杂相互关系的理解。学者在一项实验中，基于来自瓦西里·康定斯基 （Wassily Kandinsky） 的画作《构图 VII》中的抽象图案的灵感，AI 提出了一种新的基于菌丝体的复合材料：这种材料结合了一组创新的概念，包括混乱与秩序的平衡、可调节的特性、孔隙率、机械强度和复杂的图案化学功能。
基于宏大的人类知识提取出来丰富范畴，形成众多领域的本体知识结构，这是大模型通过预训练已经构建的内部世界模型；提高推理采样的机制，通过训练达成学习推理的scaling law，是大模型下一步努力提升的方向。
相比传统方法，新的大模型机理，具备更高维度的新颖性、对能力和技术细节的探索，可以通过揭示隐藏的联系建立更广泛有用的创新框架。AI 知识图驱动的跨学科研究可能会成为科学和哲学探索的有力工具。
文献1: Accelerating scientific discovery with generative knowledge extraction, graph-based representation, and multimodal intelligent graph reasoning https://iopscience.iop.org/article/10.1088/2632-2153/ad7228
数据 与 代码：https://github.com/lamm-mit/GraphReasoning
阅读最新前沿科技研究报告，欢迎访问欧米伽研究所的“未来知识库”
未来知识库是“欧米伽未来研究所”建立的在线知识库平台，收藏的资料范围包括人工智能、脑科学、互联网、超级智能，数智大脑、能源、军事、经济、人类风险等等领域的前沿进展与未来趋势。目前拥有超过8000篇重要资料。每周更新不少于100篇世界范围最新研究资料。欢迎扫描二维码或点击本文左下角“阅读原文”进入。截止到10月25日 ”未来知识库”精选的100部前沿科技趋势报告
1. 牛津大学博士论文《深度具身智能体的空间推理与规划》230页
2. 2024低空经济场景白皮书v1.0（167页）
3. 战略与国际研究中心（CSIS）人类地月空间探索的总体状况研究报告（2024）
4. 人工智能与物理学相遇的综述（86页）
5. 麦肯锡：全球难题，应对能源转型的现实问题（196页）
6. 欧米伽理论，智能科学视野下的万物理论新探索（50页报告）
7. 《美国反无人机系统未来趋势报告（2024-2029 年）》
8. Gartner 2025 年主要战略技术趋势研究报告
9. 2024人工智能国外大模型使用手册+中文大模型使用手册
10. 详解光刻巨人ASML成功之奥妙-241015（94页）
11. CB Insights：未来变革者：2025年九大科技趋势研究报告
12. 国际电信联盟2023-2024年联合国人工智能AI活动报告388页
13. 《人工智能能力的人类系统集成测试和评估》最新51页，美国防部首席数字和人工智能办公室（CDAO）
14. 2024瑞典皇家科学院诺贝尔化学奖官方成果介绍报告
15. MHP：2024全球工业4.0晴雨表白皮书
16. 世界经济论坛白皮书《AI价值洞察：引导人工智能实现人类共同目标》
17. 瑞典皇家科学院诺贝尔物理学奖科学背景报告资料
18. AI智能体的崛起：整合人工智能、区块链技术与量子计算(研究报告，书）
19. OpenAI o1 评估：AGI 的机遇和挑战（280页）
20. 世界知识产权组织：2024 年全球创新指数（326页）
21. 美国白宫：国家近地天体防御策略与行动计划
22. 【CMU博士论文】持续改进机器人的探索，243页
23. 中国信通院：量子计算发展态势研究报告2024年58页
24. 2024年OpenAI最新大模型o1革新进展突出表现及领域推进作用分析报告
25. 【新书】通用人工智能，144页
26. 联合国：《未来契约》、《全球数字契约》和《子孙后代问题宣言》三合一
27. 世界气候组织：2024团结在科学中，守卫地球系统的未来
28. 世界经济论坛 《量子技术助力社会发展：实现可持续发展目标》研究报告
29. 人工智能科学家：迈向全自动开放式科学发现
30. 欧盟：石墨烯旗舰项目十年评估报告
31. 美国信息技术和创新基金会：美国的数字身份之路研究报告
32. 麦肯锡：2024能源转型挑战未来研究报告
33. 联合国贸易与发展会议：2024世界投资报告
34. 兰德：评估人工智能对国家安全和公共安全的影响
35. 兰德：2024评估人工智能基础模型市场的自然垄断条件
36. 经合组织：2015-2022 年生物多样性与发展融资
37. ITIF：中国半导体创新能力研究报告
38. 英国皇家学会：数学未来计划， 数学和数据教育的新方法研究报告
39. 欧盟：10年人类大脑计划创新评估报告
40. GLG格理集团：2024深度解读半导体行业关键趋势和专家洞见报告15页
41. 华为智能世界2030报告2024版741页
42. 联合国：2024为人类治理人工智能最终报告
43. 达信Marsh：2024全球科技产业风险研究报告英文版27页
44. 鼎帷咨询：2024英伟达人工智能发展战略研究报告149页
45. 【博士论文】大语言模型的测试与评价：准确性、无害性和公平性，223页pdf
46. 麦肯锡：2024世界能源产业展望
47. 世界经济论坛《太空：全球经济增长的 1.8 万亿美元机遇》
48. 世界经济论坛：世界“技术先锋”名单100家公司名单
49. 世界经济论坛：2024绘制地球观测的未来：气候情报技术创新
50. 核聚变技术作为清洁能源供应替代来源的全球发展和准备情况
51. 大模型生成的idea新颖性与人类对比研究报告（94页）
52. IQM ：2024 年量子状况报告
53. 2024十大新兴技术研究报告
54. 2024地球观测 (EO) 洞察带来的全球价值（58页）
55. 2023-2024世界基础设施监测报告
56. 世界银行：2024世界发展报告，中等收入陷阱
57. 2024国际前沿人工智能安全科学报告132页
58. 斯坦福大学2024人工智能指数报告
59. 美国总统科学技术顾问委员会：《利用人工智能应对全球挑战》63页报告
60. 柳叶刀行星健康：2024地球系统安全与健康评估报告
61. 中国未来50年产业发展趋势白皮书III
62. OpenAI o1系列产品原理与安全最新研究报告（80页）
63. 国家互联网信息办公室：国家信息化发展报告2023年110页
64. 埃森哲：2024年风险研究报告-重大颠覆需要持续重塑英文版39页
65. 36氪研究院：2024年中国城市低空经济发展指数报告41页
66. 美国信息技术与创新基金会：《中国在量子领域的创新能力如何》研究报告
67. 理解深度学习500页报告
68. 鼎帷咨询：2024全球人工智能发展研究报告44页
69. 【伯克利博士论文】大型语言模型迈向能够学习和发现一切的机器
70. 《量子技术：前景、危险和可能性》45页报告
71. 英国皇家学会报告：人工智能在科学、技术、工程和数学领域的应用
72. 未来今日研究所：2024世界技趋势报告（980页）
73. 面向大规模脉冲神经网络：全面综述与未来方向
74. 大模型+知识库市场全景报告
75. 《太空力量的理论基础：从经济学到不对称战争》2024最新94页报告
76. CBInsights：2024年第二季度全球企业风险投资状况报告英文版124页
77. 英国科学院：数据管理和使用：21 世纪的治理（2024），99页
78. 兰德智库：展望2045 一项前瞻性研究探讨未来 20 年全球趋势的影响
79. 世界知识产权组织：2024年世界知识产权报告：让创新政策促进发展
80. 全球灾难风险研究所：评估大型语言模型接管灾难的风险
81. 牛津马丁学院：人工智能风险国际科学评估的未来
82. 联合国贸易和发展署：2024世界投资报告
83. 兰德公司：人工智能军事应用的新风险和机遇
84. 英国皇家学会：AI时代的科学发展趋势研究报告
85. 百页风电行业研究方法论：从中国到世界从陆地到海洋-240902，98页
86. 中国信通院发布《大模型落地路线图研究报告（2024年）》
87. 星河智源：2024年无人驾驶技术全景报告35页
88. 星河智源：2024年光刻机技术全景报告37页
89. 人形机器人行业研究方法论：特斯拉领衔人形机器人的从1到N
90. 兰德：展望2045一项关于未来20年全球趋势影响的前瞻性研究报告英文版45页
91. 《军事创新与气候挑战》2024最新152页报告
92. 麦肯锡：2024困难点：驾驭能源转型的物理现实（196页）
93. 《麻省理工科技评论》万字长文：什么是人工智能？
94. 软件与服务行业：从特斯拉智能驾驶看人形机器人发展路径
95. 中国信通院：中国数字经济发展研究报告2024年82页
96. CB Insights：2024年第二季度全球风险投资状况报告 244页
97. 脑启发的人工智能：全面综述
98. 二十年关键技术跟踪报告
99. 中国首部城市大脑系列建设标准（8项）汇编
100. 麦肯锡2024技术趋势展望报告100页
上下滑动查看更多
