美国芯片大厂AMD的GPU使用中企DeepSeek集成做ai训练芯片。

虞山清风吹 2025-02-06 00:03:48

美国大厂AMD火速的GPU也使用中国的DeepSeek来做ai芯片。AMD近期宣布将新的DeepSeek-V3模型集成到其Instinct MI300X GPU上。这一集成旨在与SGLang配合使用,以实现最佳性能。DeepSeek-V3模型经过精心设计与优化,专门针对AI推理任务进行了深度定制。AMD表示,DeepSeek V3是目前最强的开源大型语言模型(LLM),其性能甚至超过了GPT-4o。

DeepSeek-V3模型是一个强大的混合专家(MoE)语言模型,总参数量为671B,每个token激活37B参数。该模型采用了多头潜在注意力(MLA)和DeepSeekMoE架构,结合无辅助损失的负载平衡策略与多标记预测训练目标,以提升推理效率和训练经济性。

通过此次整合,AMD旨在为用户提供一套更为强大、高效的解决方案,以满足日益增长的复杂AI推理需求。DeepSeek-V3与Instinct MI300X GPU的结合,不仅提升了AI模型的运行效率,尤其是在推理任务上的表现,更为开发者提供了充足的支持,推动了各种应用场景的发展。

AMD的这一举措标志着其在AI推理能力方面的重大升级,尤其是在处理复杂计算任务时,提供了新的可能性。此外,AMD还通过SGLang的强化,使DeepSeek-V3 FP8从首发当天就能在英伟达和AMD GPU上运行,增强了开发灵活性。

0 阅读:0

虞山清风吹

简介:感谢大家的关注