今日上午，在小米2025小米人车家全生态合作伙伴大会上，Xiaomi MiMO大模型负责人罗福莉完成入职后的小米首秀，并正式发布和开源最新MoE大模型MiMo-V2-Flash。

罗福莉同步在社交媒体发布了对MiMo-V2-Flash的介绍：

MiMo-V2-Flash 已正式上线。这只是我们 AGI 路线图中的第二步，但我想把一些真正产生决定性效果的工程选择随手记下来。

架构：

我们最终采用了 Hybrid SWA。它足够简单、足够优雅，而且在内部基准测试中，在长上下文推理上明显优于其他线性注意力（Linear Attention）变体。另外，固定 KV cache 与现有基础设施的兼容性要友好得多。
备注：窗口大小 128 是那个“甜点值”（512 反而会拉低性能）；sink values 是不可妥协的，千万别省略。

MTP（Multi-Token Prediction）：

这一点在高效 RL 中被严重低估了。除了第一层以外，MTP 实际上只需要极少的微调，就能达到很高的 accept length。使用 3 层 MTP 时，我们在编程任务中看到了 accept length 大于 3，以及约 2.5 倍的速度提升。
它基本上解决了小 batch 的 On-Policy RL 中，由长尾样本造成的 GPU 空转问题。这次由于时间节点原因，我们没能把它塞进 RL loop 里，但它在这里几乎是天作之合。我们已经开源了 3-layer MTP，方便大家直接基于它进行开发。

使用 MOPD 的后训练：

我们采用了 Thinking Machine 提出的 On-Policy Distillation，用来融合多个 RL 模型，效率提升非常夸张。在不到传统 SFT + RL pipeline 的 1/50 计算量下，我们就达到了 teacher 模型的性能。
这里已经能清晰看到一条路径：学生模型不断进化，最终反过来成为更强的教师模型，形成自我强化的闭环。

致谢：
向我的团队致以最高敬意。他们在短短几个月内，把这些想法从零打磨到可上线的生产系统。

来源：https://weibo.com/2194035935/QiO8H8AOE