项目背景

模型目标：基于优化后的数据，我们致力于提升模型的性能与训练效率，包括两个方面：

1. 多模态结合：通过有效融合文本、视频和音频等多种模态，增强模型对信息的综合理解能力。使其能够应对多种模态的输入，进行正确输出。

2. 人类偏好对齐：通过分析和学习用户的行为和偏好，调整模型的输出以更好地满足人类的期望。这包括在生成内容时，考虑用户的个性化需求和期望，确保模型的决策过程与人类的意图高度一致。

解决方案

▐  1. 融合人类反馈的多模态reward模型

• 任务背景

多模态语料库的数据量非常大，并且包含大量噪声。如果直接将这些未经处理的数据用于模型训练，存在两个问题：

1. 噪声数据的存在会干扰模型的学习过程，使得模型偏离关注点，无法准确捕捉数据特征。

2. 庞大的数据量将增加计算资源的消耗和训练时间，造成资源极大的浪费。

因此，在进行多模态训练之前，应当首先进行数据清洗和过滤，以提高数据的质量，从而提升模型的整体表现和训练效率。

噪声样本分类

• 解决路径

• 算法设计

Overview:  整体大图

Step1. 偏好数据标注

我们从四个维度：准确度、完整度、细节度、背景感，描述图像和文本的对齐性，得到人类打标的多模态偏好数据HF-dataset。具体地，针对每个图像，我们会

• 通过模型生成、人工标注等多个方式，生成不同粒度的caption

• 培训打标人员，对四个维度打分，得到每个维度的准确得分

Step2. Reward Model训练

• 对于HF-dataset数据集中的每个图像I，我们有 m个由人类标注者排名的文本描述，表示为 x1,x2,…,xm。如果 xi 比 xj ，我们将其组织成一个比较对 (I,xi,xj)。对于每个图像生成 多个比较对。

• 我们遵循Bradley-Terry模型来定义成对损失函数，优化模型拉远正负比较样本，表达式为：

基于此优化函数，我们将得到一个细粒度理解人类打标员偏好的reward model。

Step3. 高质量数据清洗

• 算法收益

1. Reward Model清洗的数据质量更好，相比全量数据训练，清洗的高质量数据下游任务有很大提升；Reward Model效果也优于OpenAI CLIP等知名开源模型

   
   

2. 技术报告：Filter & Align: Leveraging Human Knowledge to Curate Image-Text Data

▐  2. 音视频多模态的联合预训练

• 任务背景

视频本质上是多模态的，包含了听觉和视觉信息。这种多模态性不仅是视频的固有特征，也是人类感知和与视觉媒体互动的基本方面。例如，在电影的上下文中，同时接触视觉信息和听觉线索显著丰富了观影体验，提高了理解力和享受度。受到这种内在的人类体验的启发，赋能多模态模型同时理解视觉和音频的能力，可以在视频理解上带来了显著的提升。

• 解决路径

• 算法设计

Overview：整体大图

Step1. 指令数据构造

当前，音频和视频信息融合领域的指令数据尚显不足。为解决这一问题，我们利用开源模型，针对视频帧和音频信号生成密集的字幕（caption）。基于这些字幕，我们结合GPT-4，生成音视频对齐的问答对（QA对），其中包括多轮对话、复杂推理和视频描述等内容。

Step2. 音视频模态对齐

基于第一部分的多模态reward模型，对生成的数据进行筛选，得到高相关性的百万级视频和图文评论数据，用于通用音视频的模态对齐

Step3. 指令跟随强化

使用音视频指令数据和偏好数据，一阶段SFT提升指令跟随能力，二阶段RLHF对齐用户偏好

• 算法收益

1. 所提出的方案在视频QA: MSR-VTT-QA R1@60.4，ActivityNet-QA R1@50.6, 音视频QA: MUSIC-AVQA R1@47.9, 超过Video-LLaMA和Video-LLaVA，达到SOTA。

2. 技术报告：Audio-Visual LLM for Video Understanding

▐  3. 多模态专家模型的细粒度蒸馏

• 任务背景

• 解决路径

• 算法设计

Overview: 整体大图

Step1. 模仿蒸馏

模仿蒸馏阶段， MOE小模型先学会大模型里的复杂知识，这里面包含两个阶段：通用知识和复杂知识，我们提出general-to-specialized，引导MOE小模型逐渐学习。

模仿蒸馏 

MOE小模型存在很严重的幻觉认知，我们以大模型提供的关于何为“好”样本和“坏”样本的知识，为MOE小模型建立了基础参考，提升其判断能力，使其在减少幻觉方面的能力大大提升。

• 算法收益

1. 提出的MOE小模型，在复杂理解能力和幻觉消除能力上，都表现优秀。相比同尺寸小模型MiniCPM-V，DeepSeeK-VL，我们的方案只使用了1%不到的数据，性能相比有优势。

复杂理解能力

幻觉消除能力

2. 技术报告：LLaVA-MoD: Making LLaVA Tiny via MoE Knowledge Distillation

在电商领域，MLLM在互动生产上已经取得了显著的阶段性成果。通过利用多种数据源和用户交互信息，MLLM在内容冷启、消费提升等方面取得了一定成果。展望未来，我们将进一步探索如何更好地结合业务目标与用户兴趣，更好地服务业务。如利用用户画像及实时反馈，生成高度个性化的互动内容，以增加用户的参与感和购买意愿。