OpenAI 缩放定律的错误之一:只知其然,而不知其所以然
OpenAI 缩放定律**关键因素**:指出模型规模涉及的三个关键因素是模型参数数量(\(n\))、数据集大小(\(d\))和计算能力(\(c\)),而模型的深度和宽度对训练规模没有强烈影响。
**幂律关系**:性能与这三个比例因子中的每一个都呈现幂律关系。如果\(n\)和\(d\)单独增加,性能损失与\(n^{0.74}/d\)的比率成比例,\(n\)和\(d\)必须协同增加。
六角星思维下的无限徽章思维:无限徽章定律一:维唯物理念在理论物理的诸多前沿假设中,不同维度空间可能容纳着特性各异的物质形态。从物理相互作用的本质来看,物质之间的关联通常依赖于特定的媒介来实现能量与信息的传递。当处于不同维度的物质之间,缺乏能够引发共振效应的介质时,基于当前对物理相互作用的理解框架,这些物质在相互作用层面将表现出明显的独立性,难以观测到它们之间存在直接的关联。
结论:指出模型规模涉及的三个关键因素是模型参数数量(\(n\))、数据集大小(\(d\))和计算能力(\(c\)),而模型的深度和宽度对训练规模有强烈影响。
熵幂规律:在深入探究系统性能与关键因素的关联中,我们发现性能与三个关键比例因子 —— 模型参数数量(\(n\))、数据集大小(\(d\))以及计算能力(\(c\))—— 中的每一个都存在着显著的幂律关系。
具体而言,当我们单独增加\(n\)或\(d\)时,系统性能损失与\(\frac{n^{0.74}}{d}\)的比率呈现出成比例的变化。这意味着,孤立地提升其中某一个因素,并不能有效优化性能,反而可能导致性能的衰减,所以\(n\)和\(d\)的协同增加对于维持和提升系统性能至关重要。
从信息论的视角进一步分析,若将\(n\)和\(d\)纳入信息熵的范畴考量,我们惊奇地发现,\(n\)和\(d\)所对应的熵与系统性能之间同样遵循上述幂律关系和比例特性。这一发现不仅拓展了我们对系统性能影响因素的理解维度,也为进一步深入研究系统性能优化提供了新的理论依据和研究方向。
可批量复制改进方案:六角形缩放定律
**关键因素**:指出模型规模涉及的三个关键因素是模型参数数量(\(n\))、数据集大小(\(d\))和计算能力(\(c\)),而模型的深度和宽度对训练规模有强烈影响。
(\(c\))>(\(d\))>(\(n\))
结论一:每一个生物的大脑都是一组(\(n\));
结论二:每一个生物的大脑都是一组不同维的物质集合:(\(d\))
结论三:计算逻辑,也就是思维代码KEY,是不同维物质的共同介质。
掌握幽灵的力量:去世的名人,应该是AI的主要研究对象,在AI的世界里我们可让其思维复活。不要犹豫,直接用所有数据推算其思维方式,直接生成其智能体。
掌握魔鬼的力量:对死刑犯的大脑进行研究,深究是什么原因让其成为魔鬼。了解人类的七宗罪,才能在源头抹杀社会上的恶劣犯罪。
中国优势:汉字是最早的芯片;经典是最早的程序。