为什么 MiniMax M2 是一个 Full Attention 模型？
来源：为什么MiniMax M2是一个Full Attention模型？ 作为MiniMax M2预训练的负责人，我收到了很多来自社区的询问：“为什么你们在MiniMax M2上开倒车，采用了 Full Attention 机制？” 在一次又一次的聊天中解释了背后的故事后，我觉得是时候在一篇blog里写下我们的心路历程。 我可以花一整个下午来讨论为什么应该构建应该做 Linear/Sparse Attention。同样，我也可以反过来花一整个下午来讨论为什么不应该去做。但所有这些纸上谈兵又有什么意义呢？回到实际情况里，我们要不要做呢？ 先说结论：我们一直在研究它。但在一个现实的工业系统中，Efficient Attention想要打败Full Attention还有些距离。LLM发展到今天，整个链路越来越复杂，服务的场景越来越多，结构设计上需要考虑的点也爆炸式增长；Code/Math场景效果咋样、Agent场景下效果怎么样、多模态是什么表现、Long CoT行不行、RL能不能Scale上去、低精度运算下有没有坑、Interleaved Thinking怎么弄、线上怎么做cache、怎么...
