阿里巴巴开源视频生成与编辑模型通义万相 Wan2.1-VACE
阿里巴巴正式开源通义万相 Wan2.1-VACE,这是一款支持视频生成与编辑的模型,单一模型可同时支持文生视频、图像参考视频生成、视频重绘、视频局部编辑、视频背景延展以及视频时长延展等全系列基础生成和编辑能力。
据悉,本次共开源 1.3B 和 14B 两个版本,其中 1.3B 版本可在消费级显卡运行。
作为业内首个开源的视频编辑统一模型,VACE以Wan2.1文生视频模型为基础,创新性地在一个单一模型中同时支持包括文生视频、图像参考视频生成、视频转绘、视频局部编辑以及视频扩展等多种生成和编辑能力。
- 多模态信息输入,提高视频生成可控性
- 统一的单一模型,为多种任务提供更加统一的解决方案
- 多任务自由组合,可以更加深度地挖掘视频生成的创意潜力
可在魔搭社区、Hugging face、GitHub等社区获取。VACE部分功能也将在通义万相官网上线。
✅魔搭社区:https://modelscope.cn/organization/Wan-AI
✅ GitHub:网页链接
✅ Hugging face:网页链接
通义万相是阿里云通义系列 AI 绘画创作大模型,可辅助人类进行图片创作,于 2023 年 7 月 7 日正式上线。在 2024 年 9 月 19 日的阿里云栖大会上,阿里发布了通义万相视频生成大模型。该模型可以生成影视级高清视频,而且更能听懂中国话。
值得注意的是,今年 1 月初通义万相视频生成模型宣布升级至 2.1 版,模型整体性能大幅提升,尤其是在处理复杂运动、还原真实物理规律、提升电影质感及优化指令遵循方面取得了显著进展。2 月 25 日,阿里巴巴宣布全面开源旗下视频生成模型万相 2.1 模型。
