昆仑元 AI 正式发布了基于昇腾（Ascend）平台的全模态融合模型 BaiZe-Omni-14b-a2b。这一新模型具备强大的文本、音频、图像和视频理解与生成能力，采用了创新的技术架构，包括模态解耦编码、统一跨模态融合和双分支功能设计，旨在推动多模态应用的发展。

BaiZe-Omni-14b-a2b 的设计流程清晰，涵盖输入处理、模态适配、跨模态融合、核心功能和输出解码等步骤。为了优化计算效率，该模型在 MoE+TransformerX 架构中引入了多线性注意力层和单层混合注意力聚合层，确保了大规模全模态应用的顺利实施。此外，模型的双分支设计使其在理解和生成能力上均有显著优势，能够有效处理多达10类任务并具备强大的多模态内容生成能力。

在模型的训练过程中，昆仑元 AI 使用了丰富的高质量数据。训练数据涵盖了超过3.57万亿 token 的文本数据、30万小时以上的音频数据、4亿张图像和超过40万小时的视频数据，确保了单模态数据的纯度和跨模态数据的对齐质量。通过差异化的数据配比，模型在不同训练阶段均能实现性能的逐步提升。

在性能方面，BaiZe-Omni-14b-a2b 在多模态理解的核心指标上表现出色，文本理解准确率达到89.3%。在长序列处理场景中，该模型的32768token 文本摘要任务的 ROUGE-L 得分为0.521，显著高于行业主流模型 GPT-4的0.487。此外，该模型还支持多语言文本生成和图像、音频及视频的多模态生成，显示出其强大的综合能力。