近日，AI领域迎来了一项创新突破，DeepSeek团队发布了一篇新论文，介绍了一种名为NSA的改进稀疏注意力机制。这一机制旨在解决长上下文训练与推理中的效率问题，通过高性价比的方式在训练和推理阶段均实现了速度的显著提升。
NSA机制由DeepSeek团队精心打造，其核心在于三大组件的协同工作：动态分层稀疏策略、粗粒度token压缩以及精粒度token选择。这些组件共同提升了模型的效率，同时保留了全局上下文感知能力和局部精确性。据悉，DeepSeek的创始人兼CEO梁文锋也参与了此次研究，出现在论文的作者名单之中，这显示了他作为项目管理者的深度参与。
根据DeepSeek的介绍，NSA机制专门针对现代硬件进行了优化设计，原生支持模型训练，在加速推理的同时降低了预训练成本，且对性能无明显影响。这一机制在长序列解码时相较于全注意力模型速度显著提升，实现了高达11.6倍的速度提升。
NSA的核心思想在于通过动态分层稀疏策略，结合粗粒度的token压缩和细粒度的token选择，来捕捉全局和局部的语义信息。具体来说，NSA将输入序列通过三个并行的注意力分支处理：压缩注意力、选择性注意力和滑动窗口注意力。这些分支共同工作，以保留关键信息并降低计算负担。
其中，压缩注意力通过聚合键和值为块级表示来捕捉粗粒度的语义信息，而选择性注意力则通过块选择机制保留重要的细粒度信息。滑动窗口注意力则专注于局部上下文信息，防止模型过度依赖局部模式。这些组件的协同工作使得NSA机制能够在保留全局和局部信息的同时，显著提升效率。
为了验证NSA机制在实际应用中的表现，DeepSeek进行了一系列实验。他们使用了一个结合分组查询注意力和混合专家的骨干架构作为样本模型，并在该模型上应用了NSA机制。实验结果显示，在多个通用基准测试中，采用NSA的模型尽管具有稀疏性，但其总体性能优于所有基线模型，包括全注意力模型。
在长上下文任务中，NSA机制也表现出了卓越的性能。在64k上下文的“大海捞针”测试中，NSA实现了超强的检索精度。在LongBench上，NSA在多跳QA任务和代码理解任务中均表现优于所有基线模型，显示了其在复杂长文本推理任务上的优势。
NSA机制还能与推理模型进行结合，适配前沿的后训练方式。DeepSeek使用从DeepSeek-R1蒸馏获得的知识和监督微调（SFT）的方式，使采用NSA的模型在32k长度的数学推理任务上获得了链式数学推理能力。这一结果表明，NSA机制不仅提升了模型性能，还为长文本任务提供了更优的解决方案。
DeepSeek还在8-GPU A100系统上对NSA的计算效率与全注意力机制进行了对比。实验结果显示，在训练速度方面，随着上下文长度的增加，NSA的加速效果愈发显著。在解码速度方面，NSA的延迟显著降低，实现了高达11.6倍的速度提升。这一结果表明，NSA机制在内存访问效率方面具有显著优势，随着序列长度的增加而更加明显。
