阿里通义开源实首个音频生成模型 ThinkSound

通义实验室首个音频生成模型 ThinkSound 现已正式开源，将打破“静音画面”的想象力局限。

该模型首次把多模态大模型的思维链推理引入音频生成领域，让AI可以像专业音效师一样逐步思考，捕捉视觉细节，生成与画面同步的高保真音频。

目前，ThinkSound的代码和模型已在Github、HuggingFace、魔搭社区开源，开发者可免费下载和体验。

• https://github.com/FunAudioLLM/ThinkSound
• https://huggingface.co/spaces/FunAudioLLM/ThinkSound
• https://www.modelscope.cn/studios/iic/ThinkSound

据介绍，ThinkSound 首次将 CoT（Chain-of-Thought，思维链）应用到音频生成领域，让 AI 学会一步步“想清楚”画面事件与声音之间的关系，从而实现高保真、强同步的空间音频生成 —— 不只是“看图配音”，而是真正“听懂画面”。

据悉，AudioCoT 融合了来自 VGGSound、AudioSet、AudioCaps、Freesound 等多个来源的 2531.8 小时高质量样本。这些数据覆盖了从动物鸣叫、机械运转到环境音效等多种真实场景，为模型提供了丰富而多样化的训练基础。为了确保每条数据都能真正支撑 AI 的结构化推理能力，研究团队设计了一套精细化的数据筛选流程，包括多阶段自动化质量过滤和不少于 5% 的人工抽样校验，层层把关以保障数据集的整体质量。