快手近日正式发布多模态大语言模型Keye-VL-1.5-8B。

https://huggingface.co/Kwai-Keye/Keye-VL-1_5-8B

据介绍，与之前的版本相比，Keye-VL-1.5的综合性能实现显著提升，尤其在基础视觉理解能力方面，包括视觉元素识别、推理能力以及对时序信息的理—表现尤为突出。Keye-VL-1.5在同等规模的模型中表现出色，甚至超越了一些闭源模型如GPT-4o。

Keye-VL-1.5采用四阶段渐进式训练流水线，以系统化方式提升模型性能。在视觉编码器预训练阶段，使用SigLIP-400M权重初始化ViT，并通过SigLIP对比损失持续预训练以适应内部数据分布。

第一阶段重点优化投影MLP层，实现跨模态特征的稳固对齐；第二阶段解冻全部参数进行端到端多任务预训练，显著增强基础视觉理解能力；第三阶段进行退火训练，利用高质量数据微调模型，弥补上一阶段中高质量样本接触不足的问题，同时将序列长度扩展至128K、调整RoPE逆频率配置，并引入长视频、长文本和大尺度图像等长上下文数据。  

最终，通过同质-异质融合技术对不同数据混合比例下的模型权重进行平均，减少固定数据比例带来的内在偏差，在保持多样化能力的同时提升模型的鲁棒性。