DeepSeek 提出新的注意力机制：原生稀疏注意力 (NSA)，创始人亲自提交论文-低调大师

DeepSeek 提出新的注意力机制：原生稀疏注意力 (NSA)，创始人亲自提交论文

2025-02-19 162

2 月 18 日，DeepSeek 官方发文公布了一篇新的论文，论文提出了一种新的注意力机制「NSA」。

论文地址：https://arxiv.org/pdf/2502.11089v1

据 DeepSeek 介绍，「原生稀疏注意力 (Native Sparse Attention, NSA) 」是一个用于超快长上下文训练和推断的本地可训练的稀疏注意力机制，并且还具有与硬件对齐的特点。

论文摘要：

长文本建模对下一代语言模型来说至关重要，但标准注意力机制的高计算成本带来了显著的计算挑战。稀疏注意力为提高效率同时保持模型能力提供了一个有前景的方向。我们提出了NSA（原生稀疏注意力），这是一个将算法创新与硬件对齐优化相结合的、原生可训练的稀疏注意力机制，用于实现高效的长文本建模。

NSA 核心组件包括：

动态分层稀疏策略
粗粒度 token 压缩
细粒度 token 选择

研究通过对现实世界语言语料库的综合实验来评估 NSA。其中作者评估了 NSA 在通用语言评估、长上下文评估和链式推理评估中的表现。实验结果表明，NSA 实现了与 Full Attention 基线相当或更优的性能，同时优于现有的稀疏注意力方法。

此外，与 Full Attention 相比，NSA 在解码、前向和后向阶段提供了明显的加速，且加速比随着序列长度的增加而增加。这些结果验证了分层稀疏注意力设计有效地平衡了模型能力和计算效率。

另外，有网友发现，arXiv 上 NSA 这篇论文的提交记录显示，它于 2 月 16 日提交，提交者正是梁文锋本人，他也是这篇论文的合著者。

微信关注我们

原文链接：https://www.oschina.net/news/334671/deepseek-nsa

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Linus Torvalds 将不顾维护者反对合并 Rust 内核代码

在 Asahi Linux 创始人宣布辞去项目负责人职务之后，围绕 Linux 内核中 Rust 代码的争议还在继续。 DMA 映射助手及内核其他多个领域的维护者 Christoph Hellwig 一直对 Linux 内核中的 Rust 代码及其长期可维护性持批评态度，他在最新发布的一封邮件列表帖子中指出， Linus Torvalds 私下提到将推翻维护者对内核中 Rust 代码的否决权。考虑到最近几天的讨论，我决定发布此页面，其中包含我们的理解：https://rust-for-linux.com/rust-kernel-policy…… Linus 私下表示，他绝对会不顾维护者的反对合并 Rust 代码。因此，从现在开始，作为 Linux 开发者或维护者，无论你是否愿意，都必须处理 Rust。这里的 Rust 代码不仅仅是指 Rust 代码——这些绑定看起来一点也不像地道的 Rust 代码，它们是一种完全不同的存在，试图弥合巨大的语义鸿沟。而且它们在某些地方并没有做到这一点，因为它们现在被塞进了每个小子系统和库中。因此，这些绑定会像癌症一样蔓延到各处，并迅速从一个允许并追...

2025-02-19

228

本文转载自：https://zhuanlan.zhihu.com/p/24609799526 作者：张俊林（中科院软件所博士）媒体风向变化太快，让人目不暇接。早上还在夸Deepseek成本低，性价比高，预训练Scaling Law死了，不需要太多机器和GPU卡，性价比优先，英伟达休矣；中午Grok 3一出来，说是用了10万张英伟达H100卡，效果力压OpenAIo3 mini和Deepseek R1，就转向说Scaling law还成立，还需要大量的卡，英伟达股价有救了，还是要大力出奇迹…… 这两个观点明显对立，有一真必有一假，那事实的真相到底是啥呢？我们来推一推。一、预训练阶段的Scaling Law是否仍然成立 -预训练阶段的Scaling Law成立吗？当然是成立的，所谓“Scaling Law撞墙”，大家普遍遇到的问题是数据不够了，没有大量新数据，导致预训练阶段的Scaling Law走势趋缓，注意是趋缓但不是停顿，预训练阶段的Scaling Law并没到天花板。按照Chinchilla Scaling Law推断，即使没有新数据，也并不意味着模型效果提不上去了，很简...

2025-02-19

165

资源下载

更多资源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。