苹果开源长视频多模态大语言模型 SlowFast-LLaVA-1.5

苹果研究团队开源了适配版 SlowFast-LLaVA 模型，在长视频分析理解任务上表现超越更大规模模型。  

该模型通过双流架构优化视频处理效率，慢流以低帧率捕捉场景细节，快流以高帧率追踪动作变化，解决了传统模型逐帧分析导致的信息冗余与上下文窗口溢出问题。其 10 亿、30 亿和 70 亿参数版本在 LongVideoBench 等长视频基准测试中均创佳绩，10 亿参数模型在 General VideoQA 任务中达 56.6 分，70 亿参数模型在 Long-Form Video Understanding 任务中获 71.5 分，且在图像理解任务如知识推理、OCR 等方面表现出色。

目前模型输入帧长限制为 128 帧，存在可能遗漏关键帧等局限。团队表示将探索内存优化技术提升性能。该模型基于公开数据集训练并开源，为长视频理解提供了新的高效解决方案。

https://github.com/apple/ml-slowfast-llava
https://huggingface.co/papers/2503.18943