阶跃与 ACE Studio 联合开源音乐大模型 ACE-Step

阶跃星辰宣布与 ACE Studio 正式联合发布并开源音乐大模型——ACE-Step（中文名：音跃）。

根据介绍，ACE-Step 音跃大模型参数量为 3.5B，具备快速高质量生成、强可控性、易于拓展等特点，同时支持多种语言的歌曲生成，涵盖中、英、日、韩、西班牙、俄语等19 种语言。通过创新架构与训练策略，ACE-Step 提升了旋律的流畅性与歌词的契合度，让生成的音乐在旋律、结构上更完整、更具情感表达力。

作为一个通用性强的音乐基础模型，ACE-Step 支持包括 LoRA 和 ControlNet 在内的多种微调方式，可灵活适配音频编辑、人声合成、伴奏生成、声线克隆、风格迁移等多种下游任务，极大降低音乐 AI 应用的开发门槛。借助这些能力，ACE-Step 有望推动音乐生成领域迈向自己的 “Stable Diffusion 时刻”。

ACE-Step 具备出色的多语言支持、极速生成能力以及高质量的音乐创作表现，确保创作者能够实现跨文化创作与高质量交付。支持多种主流音乐风格的创作，并能够生成丰富多样且兼具表现力的演唱、器乐编排，确保音乐的连贯性与和谐，并展现出风格的多样性。

除此之外，ACE-Step 也支持高质量的纯音乐生成。ACE-Step 提供两种生成模式：快速和慢速模式。最快 15 秒即可生成一整首歌，慢速模式也仅需 32 秒。

ACE-Step 支持 19 种语言（如中文、英文、西班牙语等）的歌曲生成，满足跨文化创作的需求。

公告称，ACE-Step 不仅仅是一个“生成器”，它还是一个全能的“编辑器”，在创作过程中提供高度的可控性。它为创作者提供了两个关键功能：Edit 和 Retake/Repaint，使得创作过程既精确又灵活。

创作者可以在不改变旋律的情况下，精确修改已生成歌曲的歌词内容、语气或情感表达，确保每行歌词与整体音乐风格完美契合。如果生成的作品不完全符合创作需求，创作者可以使用 Retake 功能重新生成一首风格相似、结构类似的歌曲，或者通过 Repaint 对特定部分（如旋律或歌词）进行局部调整，进一步优化作品。

此外，ACE-Step 拥有高度的可拓展性，支持 LoRA、ControlNet 等主流微调方式，轻松适配多种音乐创作场景，满足个性化定制需求。

• LoRA 微调（定制音乐风格）：通过 LoRA 微调技术，ACE-Step 可以根据创作者的需求进行特定风格的定制化训练，如生成符合 rap 风格的歌词，确保输出内容与目标风格高度一致。
• ControlNet 微调（人声驱动伴奏生成）：结合 ControlNet 技术，ACE-Step 能根据输入的旋律或人声自动生成相匹配的伴奏，提升音乐创作的个性化和灵活性。

模型架构