昆仑元 AI 推出全新全模态融合模型 BaiZe-Omni-14b-a2b
昆仑元 AI 正式发布了基于昇腾(Ascend)平台的全模态融合模型 BaiZe-Omni-14b-a2b。这一新模型具备强大的文本、音频、图像和视频理解与生成能力,采用了创新的技术架构,包括模态解耦编码、统一跨模态融合和双分支功能设计,旨在推动多模态应用的发展。 BaiZe-Omni-14b-a2b 的设计流程清晰,涵盖输入处理、模态适配、跨模态融合、核心功能和输出解码等步骤。为了优化计算效率,该模型在 MoE+TransformerX 架构中引入了多线性注意力层和单层混合注意力聚合层,确保了大规模全模态应用的顺利实施。此外,模型的双分支设计使其在理解和生成能力上均有显著优势,能够有效处理多达10类任务并具备强大的多模态内容生成能力。 在模型的训练过程中,昆仑元 AI 使用了丰富的高质量数据。训练数据涵盖了超过3.57万亿 token 的文本数据、30万小时以上的音频数据、4亿张图像和超过40万小时的视频数据,确保了单模态数据的纯度和跨模态数据的对齐质量。通过差异化的数据配比,模型在不同训练阶段均能实现性能的逐步提升。 在性能方面,BaiZe-Omni-14b-a2b 在多模态理解的...

