8月23日，据报道，英伟达发布了一篇博文，正式推出了 Mistral-NeMo-Minitron 8B 小语言 AI 模型。这款新模型具有高精度和高计算效率的特点，能够在英伟达 GPU 加速的数据中心、云端环境以及配备 RTX 显卡的工作站上运行，为开发者和企业提供了一种灵活且强大的 AI 解决方案。

Mistral-NeMo-Minitron 8B 是英伟达与 Mistral AI 合作开发的一款小型语言模型，基于此前发布的 Mistral NeMo 12B 模型。新模型共拥有 80 亿参数，通过精细的剪枝和知识蒸馏技术进行优化，从而在模型精度和效率之间取得了良好的平衡。

1. 宽度剪枝（Width-Pruning）： 英伟达通过剪枝技术来减小模型规模，去除对准确率贡献最小的权重，从而缩小了神经网络的复杂度。剪枝不仅减少了参数数量，还提高了计算效率，使得模型能够在更小的计算资源上高效运行。

2. 知识蒸馏（Knowledge Distillation）：在剪枝后，研究团队对模型进行了轻度重新训练，以恢复和提升剪枝过程中可能降低的准确率。这种重新训练使用了一个小型数据集，使得模型在保持小规模的同时，仍然能够提供卓越的性能。

Mistral-NeMo-Minitron 8B 在语言模型的九项流行基准测试中表现出色。这些基准测试包括语言理解、常识推理、数学推理、文本总结、代码生成以及生成真实答案的能力。这使得 Mistral-NeMo-Minitron 8B 成为一个多功能的 AI 模型，可以广泛应用于多个行业的不同任务。

新模型的设计使其能够在多种硬件平台上高效运行，包括搭载英伟达 RTX 显卡的工作站。这意味着开发者和企业不仅可以在大型数据中心或云环境中部署模型，还可以利用现有的 RTX 工作站进行开发和测试，降低了部署门槛。