英伟达开源统一音频智能模型 Nemotron-Labs-Audex-30B-A3B
NVIDIA 研究团队近日开源了一款名为 Nemotron-Labs-Audex-30B-A3B(简称 Audex)的统一音频-文本大语言模型。 Audex 的设计理念非常简洁高效。它基于强大的纯文本 MoE(混合专家模型)架构构建,采用单一的 Transformer 解码器,实现了文本与量化音频 token 的统一处理。这种架构不仅让音频输入能够平滑地投影到文本嵌入空间,还确保了模型在处理多模态任务时,能够与现有的 LLM 基础设施无缝兼容,从而实现真正意义上的深度融合。 为了训练这个强大的模型,研究团队整理了海量数据,涵盖了1574亿音频 token 和3205亿文本 token。通过多阶...
