美国大厂AMD火速的GPU也使用中国的DeepSeek来做ai芯片。AMD近期宣布将新的DeepSeek-V3模型集成到其Instinct MI300X GPU上。这一集成旨在与SGLang配合使用,以实现最佳性能。DeepSeek-V3模型经过精心设计与优化,专门针对AI推理任务进行了深度定制。AMD表示,DeepSeek V3是目前最强的开源大型语言模型(LLM),其性能甚至超过了GPT-4o。
DeepSeek-V3模型是一个强大的混合专家(MoE)语言模型,总参数量为671B,每个token激活37B参数。该模型采用了多头潜在注意力(MLA)和DeepSeekMoE架构,结合无辅助损失的负载平衡策略与多标记预测训练目标,以提升推理效率和训练经济性。
通过此次整合,AMD旨在为用户提供一套更为强大、高效的解决方案,以满足日益增长的复杂AI推理需求。DeepSeek-V3与Instinct MI300X GPU的结合,不仅提升了AI模型的运行效率,尤其是在推理任务上的表现,更为开发者提供了充足的支持,推动了各种应用场景的发展。
AMD的这一举措标志着其在AI推理能力方面的重大升级,尤其是在处理复杂计算任务时,提供了新的可能性。此外,AMD还通过SGLang的强化,使DeepSeek-V3 FP8从首发当天就能在英伟达和AMD GPU上运行,增强了开发灵活性。
![](http://image.uc.cn/s/wemedia/s/upload/2024/b30e1d989f100b08e03815bb847d5657.jpg)
![](http://image.uc.cn/s/wemedia/s/upload/2024/b70edf5cf4d5c3f363c57d71092d0c85.jpg)
![](http://image.uc.cn/s/wemedia/s/upload/2024/29a1a627d941e3344abb8552cb657f97.jpg)
![](http://image.uc.cn/s/wemedia/s/upload/2024/d562b7d724f079c3fde518f49b084468.jpg)
![](http://image.uc.cn/s/wemedia/s/upload/2024/0323a9761e98824185ffcfc9857f86b2.jpg)
![](http://image.uc.cn/s/wemedia/s/upload/2024/e152eaff5526320bb5046e6008c1bde4.jpg)
![](http://image.uc.cn/s/wemedia/s/upload/2024/c63061ce74103e40bc46d88613a3287c.jpg)