“东方神秘力量”DeepSeek预训练成本,低得让MetaAI团队人人自危

新识研究所 2025-01-26 20:41:41

超低成本的DeepSeek,让Meta开始怀疑自己的AI团队为何能花这么多钱

便宜量大的DeepSeek,正在暴击对岸的友商。

近日,据美国匿名职场社区teamblind一位Meta员工发帖所述,最近中国大模型企业DeepSeek的超低预算训练让Meta的AI团队感到十分恐慌,因为前者的大模型以一个低到离谱的预算拿下了足以媲美超高预算的大模型。

文中,这位Meta员工表示,Meta的工程师们正在分析为何DeepSeek能做到这一点,并且在试图从其中学习并复刻。他还表示,现在管理层十分担心,该如何向更高层证明自己的成本是合理的,因为生成式AI团队中的很多领导的工资都比DeepSeek预训练的成本要高了,这很难给高层一个“交代”。

而DeepSeek的成本能有多低呢?参数量高达671B的DeepSeek-V3训练成本仅558万美元,而Meta的Llama 3的预训练成本则是前者的15倍,并且前者的性能和世界顶尖的闭源模型GPT-4o以及Claude-3.5-Sonnet不相上下。

但是,从另外一个角度来看,受制于成本和算力的中国大模型厂商,也在探索一条更加经济、高效的大模型道路,而这,对于全世界AI的发展,实际上是有很大好处的。

作者:杨启隆

编辑:丁力

0 阅读:7

新识研究所

简介:新知识,新见解