月之暗面在今日凌晨宣布，正式推出其迄今能力最强的模型 —— Kimi K3，一个 2.8 万亿参数模型。公告称，Kimi K3 是全球首个开源的 3 万亿级别模型，面向长程编程、知识工作和推理等前沿智能场景而设计。

Kimi K3 基于 KDA 混合线性注意力机制（Kimi Delta Attention）和注意力残差（Attention Residuals）技术构建，原生支持视觉理解，并拥有 100 万 token 上下文窗口。

其中，KDA 为注意力扩展提供了高效基础，AttnRes 则不是简单地在各层均匀累积表示，而是有选择地跨深度检索表示。二者共同构成了 Kimi K3 的架构骨架，使模型能够扩展到万亿参数以上的规模。

同时进一步扩大了 Mixture of Experts（MoE）的稀疏度：结合 Stable LatentMoE 框架后，模型可以在 896 个专家中高效激活 16 个。再加上训练方法和数据配方的优化，这些结构性改进让 Kimi K3 相比 K2 的整体扩展效率提升约 2.5 倍，能更有效地把算力转化为能力。

Quantile Balancing 直接根据路由分数的分位数分配专家，避免启发式更新和敏感的平衡超参数；Per-Head Muon 则将 Muon 扩展到按注意力头独立优化，让大规模训练中的学习过程更自适应。Sigmoid Tanh Unit（SiTU）和 Gated MLA 分别增强激活控制和注意力选择性。

且 Kimi K3 从 SFT 阶段开始采用量化感知训练，使用 MXFP4 权重和 MXFP8 激活，以适配更广泛的硬件。为避免在大规模专家并行中因专家负载不均影响吞吐，团队引入了完全均衡的专家并行训练方法，使用静态形状，并且关键路径上不需要主机同步。

由于推理效率同样受益于更大的高带宽通信域，官方建议在 64 个或更多加速器组成的 supernode 配置上部署 Kimi K3。最后，由于 KDA 给传统 prefix caching 带来了新的挑战，其也已向 vLLM 社区贡献了对应实现，并将随模型一同发布。借助带 prefill cache 的 KDA，即使在大模型规模和长上下文条件下，也可以以很有竞争力的 token 价格提供 Kimi K3 服务。

根据介绍，Kimi K3 具备很强的长程编码能力。在极少人工监督的情况下，它可以持续完成长时间工程任务，理解和处理大型代码库，并协调使用终端工具。

Kimi K3 也擅长结合软件工程与视觉推理的任务。它能够利用截图和视觉反馈，优化游戏开发、前端和 CAD 等场景。还推动了端到端知识工作的进展。

“虽然 Kimi K3 的整体表现仍落后于最强的闭源模型 Claude Fable 5 和 GPT-5.6 Sol，但它在我们的整套评测中展现出前沿水平的能力，并稳定超过了其他所有模型。”

即日起，用户可通过 kimi.com、最新版 Kimi 手机App、最新版 Kimi Work 桌面客户端、Kimi Code 和 Kimi API，使用 Kimi K3 模型。当前默认思考强度为 max（极致），后续更新后会增加 low 和 high 两种模式。

此外，团队表示还正与推理合作伙伴和开源维护者密切协作，对齐技术细节，确保模型能在整个生态中可靠上线。完整模型权重将于 2026 年 7 月 27 日前发布。关于架构、训练和评测的更多细节，将随 Kimi K3 技术报告一同公布。