苹果联合复旦大学提出端侧视频大语言模型框架 StreamBridge
苹果公司联合复旦大学，推出 StreamBridge 端侧视频大语言模型（Video-LLMs）框架，助力 AI 理解直播流视频。该框架通过内存缓冲区和轮次衰减压缩策略，支持长上下文交互。 该框架还引入了一个轻量化的独立激活模型，无缝集成现有视频大语言模型，实现主动响应功能。研究团队还推出了 Stream-IT 数据集，包含约 60 万个样本，融合了视频与文本序列，支持多样化的指令格式，旨在提升流式视频理解能力。 StreamBridge 在主流离线模型如 LLaVA-OV-7B、Qwen2-VL-7B 和 Oryx-1.5-7B 上进行了测试。结果显示，Qwen2-VL 在 OVO-Bench 和 Streaming-Bench 上的平均分分别提升至 71.30 和 77.04，超越了 GPT-4o 和 Gemini 1.5 Pro 等专有模型。 论文简介如下： 视频大语言模型（Video - LLMs）通常一次性处理整个预录制视频。然而，新兴应用，如机器人技术和自动驾驶，需要在线对视觉信息进行因果感知和解释。这种根本不匹配凸显了当前视频大语言模型（Video - LLMs）的一个关...
