苹果公布多模态大模型 MM1 ：具备 300 亿参数、MoE 架构

Arxiv 页面显示，苹果正式公布了自研多模态大模型 MM1，该模型提供 30 亿、70 亿、300 亿三种参数规模，拥有图像识别和自然语言推理能力。

论文地址：https://arxiv.org/pdf/2403.09611.pdf

论文显示，MM1多模态大模型由密集模型和混合专家（MoE）变体组成，不仅在预训练指标中实现 SOTA，在一系列已有多模态基准上监督微调后也能保持有竞争力的性能。

MM1 在上下文预测、多图像和思维链推理等方面具有不错的表现。同样，MM1 在指令调优后展现出了强大的少样本学习能力。

根据介绍，苹果研究团队相关论文主要是利用 MM1 模型做实验，通过控制各种变量，找出影响模型效果的关键因素。研究表明，图像分辨率和图像标记数量对模型性能影响较大，视觉语言连接器对模型的影响较小，不同类型的预训练数据对模型的性能有不同的影响。