英伟达开源全模态理解模型 OmniVinci

英伟达研究团队发布了名为 OmniVinci 的全模态理解模型，该模型在关键的全模态理解基准测试中取得了惊人的成果，相较于现有顶尖模型高出19.05分。更为引人注目的是，OmniVinci 仅使用了1/6的训练数据，展现出卓越的数据效率和性能。

OmniVinci 的目标是创建一个能够同时理解视觉、音频和文本的全能 AI 系统，使机器能够像人类一样通过多种感官感知并理解复杂的世界。为了实现这一目标，英伟达团队采取了创新的架构设计和数据管理策略，通过一个统一的全模态潜在空间，将不同感官的信息融合在一起，实现了跨模态的理解和推理。

在 Dailyomni 基准测试中，OmniVinci 的表现超过了 Qwen2.5-Omni，其在音频理解的 MMAR 测试中高出1.7分，在视觉理解的 Video-MME 测试中高出3.9分。使用的训练 Token 仅为0.2万亿，而 Qwen2.5-Omni 的训练量为1.2万亿，显示出 OmniVinci 的训练效率是其6倍。

该模型的核心创新在于全模态对齐机制，包括 OmniAlignNet 模块、时间嵌入分组（TEG）和约束旋转时间嵌入(CRTE)三项技术。OmniAlignNet 利用视觉和音频信号之间的互补性，加强了两者的学习与对齐。而 TEG 则通过将视觉和音频信息按时间分组，有效编码了时间关系。CRTE 则进一步解决了时间对齐问题，确保模型能够理解事件的绝对时间信息。

研究团队采用了两阶段的训练方法，首先进行模态特定训练，随后进行全模态联合训练，以逐步提升模型的全模态理解能力。在隐式全模态学习方面，研究者们通过现有的视频问答数据集，进一步提高了模型对音视频的联合理解能力。