苹果近日发布多模态大模型 MM1.5，旨在增强对文本丰富的图像的理解、视觉指代和接地，以及多图像推理的能力。

据悉， MM1.5在在 MM1 架构的基础上训练而成，MM1.5 采用了以数据为中心的模型训练方法，在整个模型训练生命周期中系统地探索各种数据混合物的影响。其中包括用于持续预训练的高质量 OCR 数据和合成字幕，以及用于监督微调的优化视觉指令调整数据混合物。

MM1.5 的模型参数范围从 1B 到 30B，包括密集型和专家混合型（MoE）变体，并证明了精心的数据整理和训练策略即使在小范围内也能产生强大的性能（1B 和 3B）。

值得关注的是，苹果公司本次还推出了专门用于视频理解的 MM1.5-Video 模型和专门处理移动设备用户界面（UI）理解的 MM1.5-UI 模型，其中 MM1.5-UI 模型未来有望作为 iOS 幕后的“苹果牌”AI，其能够处理各种视觉引用与定位任务、总结屏幕上的功能，或者通过与用户的对话进行交互。

尽管 MM1.5 模型在多项基准测试中取得了优秀表现，苹果团队仍计划通过进一步融合文本、图像和用户交互数据，设计更复杂的架构，来提升模型对移动设备 UI 的理解能力，加强“苹果牌”AI 的实力。

论文地址：https://arxiv.org/abs/2409.20566
Hugging Face：https://huggingface.co/papers/2409.20566