上海 AI 实验室联合港中大(深圳)开源音频生成平台 Amphion
上海人工智能实验室(上海AI实验室)与香港中文大学(深圳)联合团队推出 AI 音频生成平台安菲翁(Amphion)。现已开源并提供免费商用。 其不仅具备语音及歌声合成转换、音效及音乐生成等多种能力,更可实现转换过程可视化,有效地降低了应用门槛,助力更广泛的开发者进行AI音频研发。 Amphion为古希腊神话中的传奇音乐家,传说其弹奏的优美琴声可让顽石感灵。上海AI实验室联合团队借此为AI音频生成平台命名,希望通过AI技术的创新为音频领域注入全新的研究思路,开源开放,“声”生不息。 集成经典模型架构,实现多项生成任务 为帮助初级开发者入门AI音频生成研究并使研究过程可复现,Amphion将当前多个经典模型架构集中于统一平台,使其可实现多项音频生成任务。 歌声转换 (SVC, Singing Voice Conversion) 歌声转换是指通过 AI 技术,将一位演唱者的音色转变为另一位演唱者。该技术涉及信号处理、机器学习、深度学习等领域。 Amphion系统集成了经典的特征提取模型用于SVC任务,包括经典的扩散模型、VITS模型及OpenAI的Whisper模型等。基于扩散的架构使用双向...


