真的可以小成本训练大模型吗？ 近两年时间，大模型成为科技领域的首要热点，国内更是展开所谓的“百模大战”。 众所周知，训练大模型的成本极高，中小公司难以实现。 对于近期爆出的所谓某些公司用极低成本训练出高效的大模型，真的有如此大的突破吗？ 据说这些公司是在精选训练数据上下了功夫，再用特殊的算法来实现高效训练等等之类听起来颇具智慧和领先的技术。 对此，我深表怀疑。 我相信简单的道理，花多少钱才能办多大的事。顶级科技巨头们耗费巨资投入庞大的算力，训练出来的大模型尚且不尽如人意。 大模型的训练不是用小聪明就能够实现低成本的，庞大的算力支撑是必不可少的。 当然，小成本进行模型训练也是可以的，但那只适用于中小公司特定狭窄领域的模型。 要想低成本实现通用大模型和高效而用途广泛的行业大模型训练，不过是痴人说梦。 因此，所谓的低算力成本训练大模型不过是一个炒作的噱头。