Mistral Small 4 开源
Mistral AI 宣布在 Apache 2.0 许可下开源 Mistral Small 4，号称是 Mistral Small 系列的最新力作。同时宣布加入英伟达新成立的Nemotron联盟，成为创始成员。 “Mistral Small 4 是首款将我们旗舰级产品 Magistral（用于推理）、Pixtral（用于多模态处理）和 Devstral（用于智能体编码）的功能整合到单一多功能模型中的 Mistral 产品。有了 Small 4，用户无需再在快速指令模型、强大的推理引擎或多模态助手之间做出选择：现在，一款模型即可提供所有这三项功能，并具备可配置的推理难度和一流的效率。” 根据介绍，Mistral Small 4 是一款混合模型，针对通用聊天、编码、智能体任务和复杂推理进行了优化。其架构支持文本和图像输入，使其能够灵活应用于各种场景。 技术参数上，采用 128 专家 MoE 架构，每 token 激活 4 个专家，总参数量1190亿，每个 token 有 60 亿个活动参数（包括嵌入层和输出层为 80 亿个）。上下文窗口 256k，支持长篇交互和文档分析。 以及可配置的推理...
