人工智能拥抱稀疏化：DeepSeek v3.2-Exp & UCM先后开源助力大模型“轻装上阵”
DeepSeek于9月29日发布V3.2-Exp最新版本，介绍了其稀疏化技术的应用效果，而同样应用稀疏化技术的华为Unified Cache Manager（简称UCM），也在9月30日正式开源上线。稀疏化趋势正从技术探索演变为产业刚需，助力大模型“轻装上阵”。 DeepSeek V3.2-Exp最重要的更新是提出了DeepSeek Sparse Attention（简称DSA），一种稀疏化注意力机制，旨在有效降低token成本。此前，DeepSeek 曾发布 Native Sparse Attention（简称 NSA）相关论文，业内普遍预期其下一版模型将采用NSA，没想到此次DSA抢先登场，打破了这一预期。不过，这也是稀疏化注意力机制首次在开源大模型中的实际应用，NSA或许会被DeepSeek留到了V4版本。 华为UCM在9月30日开源上线，其方案介绍中也提到了稀疏化相关内容。令人惊喜的是，UCM提供的并非仅仅一种稀疏化算法，而是四种：ESA、GSA、KVComp和KVStar，这几种算法分别对应不同的稀疏化策略。同时，UCM提供了统一的稀疏化框架，所有模型可以按需适配不同的稀疏化...
