Mistral Small 4 开源
Mistral AI 宣布在 Apache 2.0 许可下开源 Mistral Small 4,号称是 Mistral Small 系列的最新力作。同时宣布加入英伟达新成立的Nemotron联盟,成为创始成员。 “Mistral Small 4 是首款将我们旗舰级产品 Magistral(用于推理)、Pixtral(用于多模态处理)和 Devstral(用于智能体编码)的功能整合到单一多功能模型中的 Mistral 产品。有了 Small 4,用户无需再在快速指令模型、强大的推理引擎或多模态助手之间做出选择:现在,一款模型即可提供所有这三项功能,并具备可配置的推理难度和一流的效率。” 根据介绍,Mistral Small 4 是一款混合模型,针对通用聊天、编码、智能体任务和复杂推理进行了优化。其架构支持文本和图像输入,使其能够灵活应用于各种场景。 技术参数上,采用 128 专家 MoE 架构,每 token 激活 4 个专家,总参数量1190亿,每个 token 有 60 亿个活动参数(包括嵌入层和输出层为 80 亿个)。上下文窗口 256k,支持长篇交互和文档分析。 以及可配置的推理...








