记忆张量联合商汤大装置宣布，在国产 GPGPU 上率先跑通业内首个以“记忆 - 计算 - 调度”一体化为核心的 PD 分离商用推理集群。相比传统仅依赖硬件隔离的方案，本次落地将 PD 分离与记忆张量旗下核心产品 MemOS 的激活记忆体系深度耦合，使 Prefill 批量化可调度、Decode 前台低抖动成为可能。

集群在真实 C 端负载下实现单卡并发效率提升 20%、吞吐提升 75%，综合推理性价比达到同代 NVIDIAA100 的 150%。这一成果标志着国产算力体系在大模型商业化路径上首次具备“体系级”竞争力，为高性能模型的大规模落地打开了全新的降本增效空间。

为什么是 MemOS？ 解决大模型长期记忆和 Agent 协作的五大痛点

过去一年中，“PD 分离”几乎成了大模型推理优化里最热的技术关键词之一，但一个被反复忽略的现实是：如果只在算力层面做 PD 分离，而不对上层业务路径重构，能带来的收益是天然有上限的。

Prefill（计算密集）与 Decode（访存密集）在真实生产环境中的比例、触发频率和负载形态取决于业务本身——是长对话还是短问答，是高并发 C 端应用还是低频 B 端调用？在这些问题没有被重新建模之前，通过“算存拆分”，往往只能做局部吞吐的改善，却很难真正突破天花板。

随着 DeepSeek-R1 等高性能模型从 B 端试水走向 C 端大规模落地，局面发生了根本性变化：“记忆”不再只是一个锦上添花的高级能力，已经开始成为 C 端产品体验与成本结构的核心变量。

超长上下文、跨轮次的上下文复用、基于先验的影子预测、针对热门场景的 KV Cache 批量生成……这些能力正在把 Prefill 从原本一次性的“首字计算”，放大成一个高占比、可预测、可调度的批量任务集；而 Decode 则越来越像一个必须始终保持低抖动、低延迟、强稳定的“前台交互引擎”。

在这样的应用形态下，PD 分离的角色被彻底改写：

只有当 PD 分离与记忆结构深度耦合，变成一套围绕“记忆—计算—调度”重构的整体体系时，它才有机会真正超越传统意义上的性能上限。

MemOS 作为业内唯一一个以记忆为中心，覆盖从底层推理、到记忆模型，再到应用工程进行系统设计的记忆基础设施，它将大模型的认知结构划分为三类记忆：

• 参数记忆：承载长期稳定知识，对应模型本身的参数空间；
• 激活记忆：承载短期动态状态，包括 KVCache、隐藏层激活、注意力权重等；
• 明文记忆：承载可检索、可审计的外部知识与用户信息。

这三类记忆形成了一条跨时间尺度的调度链路，使得 MemOS 不再只是“一个向量库外挂”，可以进行精细地决策：

• 哪些计算应该前移到 Prefill，哪些必须留在 Decode；
• 哪些状态值得长期保留，哪些可以在一定条件下降级或淘汰；
• 哪些上下文可以复用，哪些需要重新计算。

PD 分离 × 业务路径在这里第一次被真正打通，而不是被割裂成两条平行的优化线。

相比传统的只做“长上下文拼接”的纯明文记忆系统，或只在参数空间做一些长期偏好固化的简单参数记忆模型，MemOS 更适合和 PD 分离进行结合——它拥有一整套可以“决定如何用这条通道”的调度逻辑，从而把 PD 分离原本有限的收益空间尽可能压榨到极致。

正因此，本次记忆张量与商汤大装置在某国产 GPGPU 上的解决方案，真正跑出一版带完整业务语境的 R1 满血推理集群——

不仅在单机和小规模集群实验中有效，而且在严格 SLA 约束下，可以在 12 台 4P8D 架构的商用集群上稳定运行，将 PD 分离从“好主意”变成“可以被商业化复现的工程范式”。

结构共振：PD 分离第一次有了“落点”

在本次合作的方案中，商汤大装置提供了让 MemOS 三层记忆结构拥有物理载体的顶层系统级基础设施**。依托大装置 IaaS ** 的高效算力池、智能算力调度等为模型推理提供稳定的基础设施支撑；并借助 Ignite 框架提供多后端推理适配、KV Cache 管理优化、关键算子加速、跨节点通信调优等性能增强，形成体系化的推理优化链路；同时，商汤万象 MaaS 平台​的统一调度策略确保 Prefill 与 Decode 服务在高并发场景下始终稳定运行。

集群的底层算力方面，则由算丰信息提供核心支撑，算丰信息在此次集群中承接管理了所有高性 GPGPU 计算资源、大规模文件对象存储以及高速互联网络服务，为 PD 分离架构的高效稳定运行提供了不可或缺的鼎力支持。

在商汤大装置的某国产 GPGPU 集群上，MemOS 的记忆结构被映射成了非常清晰的物理分工：

• P 域（Prefill Domain）变成真正的“记忆工厂”，集中承载影子上下文的预测与 KV Cache 的批量预生成，这些任务通常对吞吐敏感、对时延容忍度高，因此可以在 P 域以高并行、高利用率的方式被源源不断地消化掉，而不再与前台交互抢占资源；
• D 域（Decode Domain）则被打造为纯粹的“实时交互前台”，专注处理真实用户请求的解码过程，在保持超低 TTFT 的前提下，承担起 R1 这一类大模型在 C 端场景的连续输出与稳定响应；
• 跨节点 KV Cache 则通过高带宽互联与零拷路径实现“即产即用”，MemOS 的激活记忆机制与商汤在某国产 GPGPU 上打磨出的通信能力形成天然互补，使 Prefill 产生的 KV Cache 不再成为传输瓶颈，而是以极低开销进入 D 域的解码流程中。

这次合作是一次体系级的结构共振：

PD 分离为 MemOS 打开了一条真正意义上的高速算力通道，而 MemOS 则为 PD 分离提供了精细到记忆单元级别的调度逻辑和业务上下文，让两者不再是孤立的“优化点”，而是共同长在同一棵体系树上的“结构分支”。

正因为有了这样的结构落点，PD 分离才第一次从一个工程团队内部的“性能小技巧”，变成一套可以被完整描述、完整度量、并在生产环境中长期运行的​新推理范式​。

数据验证：国产 GPGPU 第一次跑出 R1 的“完整形态”

在严格的生产级评测口径下——包括 ​2k 输入、1k 输出、TTFT＜2s 的 SLA 约束、72 小时以上稳态运行、统一的限流与负载生成策略​——记忆张量与商汤大装置联合打造的国产 GPGPU 集群交出了这样一张答卷：

• 集群整体吞吐量提升 75+%，从 Naive 部署下的 107.85 tokens/s 提升到 189.23 tokens/s，不是因为“卡更强了”，而是 Prefill 与 Decode 真正做到了算/存解耦，流水线气泡被有效压缩，影子上下文的批量预计算也不再造成资源浪费；
• 单卡并发能力提升约 20%，从 25.00 并发/卡提升至 29.42 并发/卡，在 C 端场景下十分关键，这意味着在同等硬件规模下，集群能稳态承载更高的实时会话数，高峰期排队与溢出的风险明显降低；
• TTFT 全程稳定小于 2 秒，得益于 Prefill 全量前移和 D 域职责的“单一化”，Decode 不再被一些突发的重 Prefill 任务抢占资源，首字延迟因此从系统层面得到了保障；
• KV Cache 在热门场景中的命中率显著提升，可达 70%+，这使得诸如 MemOS-Chat 这一类需要高频、多轮交互的 C 端应用，在热点话题和常见任务上具备了极高的预计算复用率，推理成本被进一步摊薄；
• 在统一财务与技术口径下，综合推理性价比达到同代 NVIDIA A100 的 150% 左右，在严格 SLA 与相同负载结构下，某国产 GPGPU 在这一套“记忆原生 × PD 分离 × 业务调度”的框架中，第一次实现了对 A100 的体系级正面超越。

这些数字代表着：

“国产 GPU 不再只是一个“可以跑大模型”的选项，而是真正具备了承载 R1 级 C 端业务的体系能力。“

行业意义：下一代推理范式被点亮

从行业视角来看，这次联合实践更重要的价值在于清晰地描绘出了一条​未来大模型推理架构的可行路线​。

首先，PD 分离从“硬件层的算存优化”，升级为“围绕记忆的推理范式设计”。

在记忆缺位的系统里，PD 分离往往只能作用于算子级、节点级的小局部；而在 MemOS 这样以记忆为核心组织推理流程的系统里，PD 分离可以延伸到行为预测、上下文规划、激活记忆布局等更高维度，从而变成整体架构的一部分，而不再是孤立的工程优化。

其次，C 端场景将逐步从 Token 推理走向 Memory 推理。

过去我们习惯从“生成了多少 Token”、“延迟是多少”来评价系统，现在我们越来越需要思考的是：系统在多长时间尺度内能保持一致的人设、风格和偏好；它是否能记住用户的历史行为，并以此给出更智慧、更个性化的反应。在这个意义上，记忆不再是推理链路的外挂，而正在成为推理本身的中心。

未来，国产 GPU 不必也不应该只是在“算力参数”上做对标，而是有机会在体系结构上形成差异化领先。

通过记忆张量和商汤大装置的联合探索，我们可以看到：当底层架构与上层系统“共同为记忆和 Agent 这种新形态服务”时，国产生态已经可以定义自己的技术话语体系。

很多长期困扰工程团队的问题：“为什么 PD 分离在实验室里很好看、一到生产就塌方”，“为什么集群越扩越容易失控”，“为什么 C 端体验总会莫名其妙波动”——在这套框架下都有了同一个答案：

不是技术选型不对，而是体系结构不对。

当“记忆原生 × PD 分离”两件事同时准备好，这些瓶颈不再是孤立的 bug，而成为了可以被系统性地松动和重构的变量。

展望：记忆原生时代的国产算力新起点

未来，记忆张量与商汤将在这一范式之上继续深化合作：

一方面，围绕更大规模的国产 GPGPU 集群，构建真正意义上的记忆驱动流水线推理底座，让“影子上下文 - 激活记忆 - PD 分离 - 多级缓存 - AIOps ”成为一套可观测、可回滚、可演进的基础设施能力；

另一方面，在 Prefill 行为预测自治化、多级激活记忆管理、跨任务长时记忆一致性、面向 Agent 的轨迹记忆等方向上持续打磨，让这套范式不仅能支撑今天的聊天与问答，还能承载未来的伴随式 AI、具身智能体以及更复杂的长周期任务编排。

从更长远的视角看，这次联合实践带来的最大改变，也许不是某一个模型跑得更快、某一类集群利用率更高，而是——

国产算力体系第一次拥有了另一条面向未来智能形态的可能“结构性路线”：

从参数计算走向记忆计算，从静态推理走向动态流水线，从模型中心走向记忆中心。

在这条路上，国产 GPGPU 不再只是“跟上来”的参与者，而完全有机会成为下一代推理范式的定义者之一。

而这一次，记忆张量与商汤大装置把这条路上的第一盏路灯点亮了。

关于 MemOS

MemOS 为 AGI 构建统一的记忆管理平台，让智能系统如大脑般拥有灵活、可迁移、可共享的长期记忆和即时记忆。

作为记忆张量首次提出“记忆调度”架构的 AI 记忆操作系统，我们希望通过 MemOS 全面重构模型记忆资源的生命周期管理，为智能系统提供高效且灵活的记忆管理能力。