2025年2月18日,DeepSeek团队带来好消息,发布新论文介绍改进的稀疏注意力机制NSA。这一成果犹如给AI训练和推理加上了“加速器”,在训推场景里速度显著提升,解码阶段更是提升高达11.6倍。
NSA拥有三大核心组件,专门针对现代硬件进行优化设计,在通用基准、长上下文任务和基于指令的推理方面表现出色。值得一提的是,DeepSeek创始人兼CEO梁文锋参与了研究,论文第一作者Jingyang Yuan是在实习期间完成相关工作。
NSA的诞生,旨在攻克现有稀疏注意力机制的缺陷,通过软硬件协同深度优化,不断逼近计算强度最优解,未来有望在AI领域掀起新的变革,推动行业加速发展。