压缩信息，能解决推理难题？卡耐基梅隆大学的研究人员有了新发现！他们觉得，压缩信息或许能搞定复杂推理任务。
还不用预先训练，厉害吧？他们的系统，只靠谜题本身，就能解决某些抽象模式匹配任务。
这颠覆了人们对机器学习的传统看法！是不是很神奇？一年级博士生IssacLiao和导师AlbertGu教授，冒出了个大胆的想法：无损信息压缩，真的能激发智能行为吗？他们研究的结果？答案是，有可能！他们开发了个叫CompressARC的软件，还在Liao的个人网站上写了篇文章，展示了他们的研究结果。
他们用啥测试呢？一个叫抽象和推理语料库（ARC_AGI）的东西！这是机器学习研究员FranoisChollet在2019年创建的视觉基准库，用来测试人工智能的抽象思维能力！ARC会给系统一些基于网格的谜题，每个谜题都有一些例子，演示基本规则。
系统得找出规律，才能解开新示例。
举个例子，一个ARC-AGI谜题，展示了一个网格，浅蓝色的行列把空间分成了一个个小框框！任务是根据颜色的位置，看看颜色都该放哪儿。
黑色代表边角？洋红色代表中央？其他框框则用颜色方向区分。
普通人大概能解决76.2%的ARC-AGI问题，厉害！而专家呢？解决率高达98.5%！简直神了！OpenAI去年12月宣布，他们的o3模型在ARC-AGI测试中，成绩特别好，轰动一时！在受限计算测试中，o3得了75.7分；高计算测试中，得了87.5分。
OpenAI说，这成绩和人差不多！CompressARC在ARC-AGI训练集上的准确度是34.75%，在测试集上是20%。
用普通家用的RTX4070GPU，每个谜题大概需要20分钟才能解决。
那些顶级方法呢？需要大型服务器，算力需求巨大！CompressARC的方法，和现在大部分人工智能系统，有很大不同！它不需要事先学习，也不用额外的数据！系统现学现卖，只用待解决的谜题本身进行训练。
研究人员说，不用预先训练，模型在推理期间随机初始化就能完成训练，厉害不？不用数据集？模型只在目标ARC-AGI谜题上训练，输出一个答案。
研究人员还提到，这方法不用“搜索”！搜索是人工智能问题解决的常用方法，系统会尝试各种可能，选择最佳解法！CompressARC不用这种不断尝试的方法，它用的是一种数学方法——梯度下降，一点点调整网络参数以减少犯错。
就像下山一样，找到通往谷底的路。
这个系统的核心思想？用压缩作为根本动力！CompressARC要找到谜题最简单的描述，这样解压时就能完美还原示例和解法。
CompressARC学习了一点Transformer的结构，但它还是个特制的神经网络，专门用来压缩！与典型的机器学习方法不同，CompressARC只把神经网络当解码器用。
在编码过程中，系统会调整网络的内部设置和输入数据，尽量减少错误。
这个过程会创建最精简的表达，同时完美还原谜题的已知部分。
然后，这些优化后的参数就变成了压缩表示，用节省空间的方式存储谜题和解法。
研究人员解释说，关键的挑战是，不用输入答案，就能得到这种精简的表达结果。
这个系统，其实就是把压缩当成一种思考方式！这种方法，在没有大型数据集的领域，或者需要用最少的例子学习新任务的情况下，非常有用！这项研究说明，有些智能，可能不是来自记住很多东西，而是来自更好地表达信息？压缩和智能，看起来没啥联系，但在计算机科学里，却有很深的理论基础。
为了高效压缩信息，系统必须识别模式，找到规律，理解数据的内部构造。
这些能力，说明了智能行为的特征！要想有效压缩特定序列，系统必须能够预测接下来会发生什么！2023年9月，DeepMind发了篇论文，发现大型语言模型在某些情况下，比特制的压缩方法表现更好！这说明，压缩和智能之间，联系紧密。
只有真正理解数据中的模式，才能更有效地压缩！这和卡耐基梅隆大学的研究结果一致。
这次研究很重要，因为它颠覆了大家普遍认为的，人工智能开发需要大量数据和巨大算力的观点。
虽然各大厂还在努力开发基于大量数据的更大模型，但CompressARC认为，智能可以用不同的方法，逐步实现！研究人员总结说，CompressARC的智能，不是来自预先训练，庞大的数据集，反复尝试，或巨大算力！而是来自压缩！他们提出了新的可能：特别设计的压缩目标，加上高效的推理计算，一起努力，用最少的输入，实现高级智能！当然，Liao和Gu的系统也有缺点。
虽然它能解决颜色分配、填充、裁剪等问题，但在计数、远程模式识别等任务上却很困难。
这说明，压缩这个方法，并不适用于所有领域。
这项研究还没有经过专家审核。
虽然在没见过的谜题中达到了20%的准确度，很厉害！但这比人类和现在最好的AI系统，还是差很多！可能会有人问，CompressARC是不是利用了ARC谜题中特殊的结构？这种结构在其他领域可能不适用！人工智能在不断进步，如果CompressARC接受更严格的检查后仍然有效，可能会找到一条新路！这条路，或许能实现真正有用的智能行为，还不需要那么多的资源！或者，它至少能成为找到真正人工智能的关键环节现在还不明白！
