Kimi 发布全新通用音频基础模型 Kimi-Audio

Kimi 发布新的开源项目 — 全新通用音频基础模型 Kimi-Audio。

根据介绍，Kimi-Audio-7B-Instruct基于Qwen2.5-7B架构，并结合Whisper技术，展现了强大的多功能性。该模型支持多种音频相关任务，包括但不限于：语音识别（ASR）、音频问答(AQA)、音频字幕(AAC)、语音情感识别(SER)、声音事件/场景分类(SEC/ASC)、文本到语音(TTS)、语音转换(VC)以及端到端语音对话。

Kimi-Audio采用创新的混合音频输入机制，以12.5Hz的采样率处理音频数据，显著提升了模型对复杂音频信号的理解能力。

官方披露，该模型在超过1300万小时的多样化音频数据上进行训练，涵盖语音、音乐、环境音等多种类型。Moonshot AI还开源了Kimi-Audio的训练代码、模型权重以及评估工具包。

Kimi-Audio在多项基准测试中展现了领先的性能，超越了现有的开源和部分闭源模型。其在语音识别、情感分析和音频问答等任务中的表现尤为突出，展现了强大的泛化能力。Kimi-Audio的开源评估工具包为行业提供了一个标准化的测试平台。