小米多模态大模型 Xiaomi MiMo-VL 开源

小米公司研发的MiMo-VL多模态模型近日接过MiMo-7B的接力棒，在多个领域展现出了强大的实力。该模型在图片、视频、语言的通用问答和理解推理等多个任务上大幅领先同尺寸标杆多模态模型Qwen2.5-VL-7B，在GUI Grounding任务上的表现更是可与专用模型相媲美，为Agent时代的到来做好了准备。

MiMo-VL-7B在多模态推理任务上成绩斐然，尽管参数规模仅为7B，却在奥林匹克竞赛（OlympiadBench）和多个数学竞赛(MathVision、MathVerse)中大幅领先参数规模10倍大的阿里Qwen-2.5-VL-72B和QVQ-72B-Preview，同时也超越了闭源模型GPT-4o。

在内部大模型竞技场评估真实用户体验时，MiMo-VL-7B超越GPT-4o，成为开源模型中的佼佼者。在实际应用场景中，该模型在复杂图片推理和问答上表现卓越，在长达10多步的GUI操作上也展现出不错的潜力，甚至能够帮助用户将小米SU7加购至心愿单。

MiMo-VL-7B全面的视觉感知能力得益于高质量的预训练数据以及创新的混合在线强化学习算法（MORL）。在多阶段预训练过程中，小米收集、清洗、合成了涵盖图片-文本对、视频-文本对、GUI操作序列等多种数据类型的高质量预训练多模态数据，总计2.4T tokens，并通过分阶段调整不同类型数据的比例，强化了长程多模态推理的能力。

混合在线强化学习则融合了文本推理、多模态感知+推理、RLHF等反馈信号，并通过在线强化学习算法稳定加速训练，全方位提升了模型的推理、感知性能和用户体验。