苹果联手中国研究团队开发统一音视频生成模型 VSSFlow
苹果公司与中国人民大学研究团队联合推出了新 AI 模型 VSSFlow,能够在单一系统内从无声视频中同时生成环境音效和语言语音,这标志着视频到音频生成领域的一个重要突破。 以往视频到声音(Video-to-Sound,V2S)模型在生成自然环境音效方面效果有限,而文本到语音(TTS)模型则专注语音生成,无法兼顾环境声和对话内容。此外,独立训练语音和音效模型的传统做法往往需要复杂的多阶段流程,并可能导致性能下降。 VSSFlow 创新点 VSSFlow 采用统一架构,同时处理环境音效和语音输出,在模型内部实现任务融合。 该系统将视觉输入与语音转录信息融合,在生成音频时同时参考视频画面特征和文本提示,从而提高音频内容与画面的匹配度。 研究团队发现,在单一训练过程中让语音和环境声互相辅助,能够提升整体性能,这与过去认为联训会互相干扰的观点相反。 为了让模型输出既有环境背景音又有准确语音,团队进一步对模型进行微调,使用包含混合音频的合成样本训练。最终生成音频时,模型从随机噪声开始推断,并利用 10 帧/秒的视频视觉线索来塑造环境声,同时根据提供的文字脚本生成清晰语音。 苹果已将 VSSFlow...
