月之暗面 K2 Thinking 模型训练成本据称为 460 万美元
据 CNBC 援引知情人士说法,月之暗面于 11 月 6 日发布的 Kimi K2 Thinking 模型的训练成本为 460 万美元。月之暗面声称该模型在一些测试中超过 GPT-5 和 Sonnet 4.5 Thinking。
作为对比,DeepSeek V3 的官方声称的训练成本为 560 万美元,而 GPT 的训练成本据推测在十亿美元量级。
HuggingFace 联合创始人 Thomas Wolf 也表示,我们正在见证又一次 DeepSeek 时刻:
Kimi 对传统 MoE 架构(包括 DeepSeek 等开源模型)进行了一系列深度优化,可以称之为 “超稀疏 MoE”,并集成了一系列开源生态成果。
K2 Thinking 以 1 万亿参数位居全球大模型前列,但每次推理只激活 3.2%(320 亿)参数,在效率上冲至第一。排名第二的是 DeepSeek (5.5%);据 AI 专家的技术分析,GPT-4/5 在 10% 左右。K2 的 MoE 包含高达 384 个专家网络,但在执行一个复杂的 Agentic 任务时,K2 只激活 8 个,稀疏度 48 倍,能动态的、按需的进行专家调用,提升了处理复杂任务的深度和效率。

