玩酷网

蚂蚁集团的3000 亿参数的 MoE 大模型可在使用国产 GPU 的低性能设备上

蚂蚁集团的3000 亿参数的 MoE 大模型可在使用国产 GPU 的低性能设备上完成高效训练,性能与完全使用英伟达芯片、同规模的稠密模型及 MoE 模型相当。 ​​​