NVIDIA 研究团队近日开源了一款名为 Nemotron-Labs-Audex-30B-A3B（简称 Audex）的统一音频-文本大语言模型。

Audex 的设计理念非常简洁高效。它基于强大的纯文本 MoE（混合专家模型）架构构建，采用单一的 Transformer 解码器，实现了文本与量化音频 token 的统一处理。这种架构不仅让音频输入能够平滑地投影到文本嵌入空间，还确保了模型在处理多模态任务时，能够与现有的 LLM 基础设施无缝兼容，从而实现真正意义上的深度融合。

为了训练这个强大的模型，研究团队整理了海量数据，涵盖了1574亿音频 token 和3205亿文本 token。通过多阶段的监督训练、纯文本 Cascade RL（强化学习）以及多域在策略知识蒸馏，Audex 在各项指标上均表现出色。

它不仅在音频理解、语音识别、翻译、以及音频生成等任务中达到了行业领先水平，更难能可贵的是，它几乎完美保留了原版 LLM 在推理、对齐、知识储备及长文本处理方面的核心能力，性能衰退微乎其微。