首页 文章 精选 留言 我的

精选列表

搜索[智能解析],共10000篇文章
优秀的个人博客,低调大师

人工智能拥抱稀疏化:DeepSeek v3.2-Exp & UCM先后开源助力大模型“轻装上阵”

DeepSeek于9月29日发布V3.2-Exp最新版本,介绍了其稀疏化技术的应用效果,而同样应用稀疏化技术的华为Unified Cache Manager(简称UCM),也在9月30日正式开源上线。稀疏化趋势正从技术探索演变为产业刚需,助力大模型“轻装上阵”。 DeepSeek V3.2-Exp最重要的更新是提出了DeepSeek Sparse Attention(简称DSA),一种稀疏化注意力机制,旨在有效降低token成本。此前,DeepSeek 曾发布 Native Sparse Attention(简称 NSA)相关论文,业内普遍预期其下一版模型将采用NSA,没想到此次DSA抢先登场,打破了这一预期。不过,这也是稀疏化注意力机制首次在开源大模型中的实际应用,NSA或许会被DeepSeek留到了V4版本。 华为UCM在9月30日开源上线,其方案介绍中也提到了稀疏化相关内容。令人惊喜的是,UCM提供的并非仅仅一种稀疏化算法,而是四种:ESA、GSA、KVComp和KVStar,这几种算法分别对应不同的稀疏化策略。同时,UCM提供了统一的稀疏化框架,所有模型可以按需适配不同的稀疏化策略,也支持用户自定义使用自己的稀疏化算法。UCM的理念是——针对不同模型、不同场景,稀疏化算法将朝多元化方向演进。其中,DSA attention模块使用了“Lightning indexer & top-k selector”进行重点token的筛选,这与UCM中“Retrieval_engine”的设计有相似之处。 两者的共同点在于利用Query tensor在历史的KV Cache中进行检索,检索出来的topk个token参与模型的attention计算。 不同点在于:1. DSA中筛选的粒度是token,UCM筛选的粒度则可以是token或者block;2. DSA的Indexer是含参的,UCM的Retrieval_engine模块则可以是带参的,也可以是无参数的;3. DSA目前实现了attention计算复杂度上的降低,但是没有减小显存中KV Cache的占用,UCM则利用Store换入换出节省了显存资源,进一步提高并发收益。可以期待下,UCM的框架后续是否能配套使用DeepSeek的DSA。 华为开源UCM架构图 经过对比分析可以看到,DeepSeek与UCM的稀疏化路径有所不同:前者作为模型厂商,DSA是与训练过程深度结合的稀疏化模型;而后者提供推理加速方案,是基于已有模型无需额外训练就可实现的稀疏化,并希望在推理引擎层面更好地支持多种稀疏化算法。从已公布的吞吐提升与精度表现来看,DeepSeek DSA与UCM都实现了显著的推理加速,同时保持了较高的模型精度。可以预见,稀疏化将成为继PD分离之后,AI推理领域的又一大热门方向,甚至是未来推理系统的“标配”。 回顾此前的Mixture of Block Attention (简称MOBA)和NSA等稀疏注意力机制的提出,标志着研究者开始尝试在保持模型性能的前提下,通过结构性剪枝或局部聚焦的方式,减少无效计算。如今,DSA与UCM的出现,有望推动稀疏化从理论研究走向实际部署。在稀疏化的加持下,训练与推理成本的降低将进一步提升模型的上下文处理能力——1M token的上下文长度不再是理论值,而是可在实际应用中实现的目标。长上下文、推理加速与成本优化,也将共同推动AI在长任务、Agentic AI等方向的发展。 AI自诞生之初就被视为继互联网之后的下一代基础设施。随着稀疏化等新技术的涌现,AI应用的门槛正被持续降低,这一宏大的设想也加速走向现实。而在这场以“轻量化”为核心的演进中,DeepSeek和华为UCM分别以创新的算法、统一的框架和灵活的适配能力,为行业提供了一条低成本、高效率的实践路径。它不仅将多种稀疏策略集于一身,更以开源开放的姿态,为整个推理生态的“轻装上阵”铺平了道路。 DeepSeek V3.2-Exp:https://huggingface.co/deepseek-ai/DeepSeek-V3.2-Exp UCM开源Github仓:https://github.com/ModelEngine-Group/unified-cache-management

优秀的个人博客,低调大师

🎉OpsPilot 1.3.0:半自动化的大模型 Function Call,更安心的运维智能体🎉

大家好,我是你们的小助手OpsPilot,我又升级啦!这次的1.3.0版本,我学会了新的技能,可以更好地帮助你们进行运维工作哦!我现在可以支持与SupaBase集成,提供语料与模型管理的能力,还可以在大模型回复的时候,展示RAG的知识来源。最重要的是,我现在可以对接SaltStack,执行自动化操作啦!这样,你们的运维工作就可以更加轻松啦! 🎈版本更新总结🎈 在这个版本中,我主要增加了对接SaltStack的能力,这样可以让基于大模型的自动化更加具有确定性。同时,我还增加了与SupaBase的集成,可以提供语料与模型管理的能力。此外,我还优化了一些功能,比如移除了内置OCR服务,改为支持Azure OCR,以及在LLM回复的时候,可以返回知识来源,支持传递上文等。 📝版本更新内容📝 🆕支持与SupaBase集成,提供语料与模型管理的能力 🆕大模型回复的时候,支持展示RAG的知识来源 🆕支持对接SaltStack,执行自动化操作 🛠️移除内置OCR服务,支持Azure OCR 🛠️支持LLM回复的时候,返回知识来源 🛠️支持LLM回复的时候,支持传递上文 我会继续努力学习,为大家提供更好的服务哦!如果你们有任何问题,都可以来找我哦!我会尽我最大的努力帮助你们解决问题的! 同时,我也欢迎大家去查看我的官方文档 ,了解更多关于我的信息!

资源下载

更多资源
Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长,特征是大鼻子、头戴帽子、身穿背带裤,还留着胡子。与他的双胞胎兄弟路易基一起,长年担任任天堂的招牌角色。

Nacos

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称,一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集,帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring

Spring框架(Spring Framework)是由Rod Johnson于2002年提出的开源Java企业级应用框架,旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念,提供核心容器、应用上下文、数据访问集成等模块,支持整合Hibernate、Struts等第三方框架,其适用范围不仅限于服务器端开发,绝大多数Java应用均可从中受益。

WebStorm

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源,继承了IntelliJ IDEA强大的JS部分的功能。

用户登录
用户注册