苹果公司与中国人民大学研究团队联合推出了新 AI 模型 VSSFlow，能够在单一系统内从无声视频中同时生成环境音效和语言语音，这标志着视频到音频生成领域的一个重要突破。

以往视频到声音（Video-to-Sound，V2S）模型在生成自然环境音效方面效果有限，而文本到语音（TTS）模型则专注语音生成，无法兼顾环境声和对话内容。此外，独立训练语音和音效模型的传统做法往往需要复杂的多阶段流程，并可能导致性能下降。

VSSFlow 创新点

• VSSFlow 采用统一架构，同时处理环境音效和语音输出，在模型内部实现任务融合。
• 该系统将视觉输入与语音转录信息融合，在生成音频时同时参考视频画面特征和文本提示，从而提高音频内容与画面的匹配度。
• 研究团队发现，在单一训练过程中让语音和环境声互相辅助，能够提升整体性能，这与过去认为联训会互相干扰的观点相反。

为了让模型输出既有环境背景音又有准确语音，团队进一步对模型进行微调，使用包含混合音频的合成样本训练。最终生成音频时，模型从随机噪声开始推断，并利用 10 帧/秒的视频视觉线索来塑造环境声，同时根据提供的文字脚本生成清晰语音。

苹果已将 VSSFlow 的代码开源（https://github.com/vasflow1/vssflow），并计划发布模型权重和在线推理演示。研究者表示，未来的挑战包括获取高质量视频-语音-音效数据集，以及发展更高效、细节更丰富的声音和语音表征方法。