通义万相全新动作生成模型 Wan2.2-Animate 正式开源
阿里云宣布通义万相全新动作生成模型 Wan2.2-Animate 正式开源。该模型能够驱动人物、动漫形象和动物照片,广泛应用于短视频创作、舞蹈模板生成、动漫制作等领域。用户可以在 GitHub、HuggingFace 和魔搭社区下载模型和代码,也可以通过阿里云百炼平台调用 API 或在通义万相官网直接体验。 Wan2.2-Animate 模型是基于此前开源的 Animate Anyone 模型全面升级的成果,在人物一致性、生成质量等指标上大幅提升,同时支持动作模仿和角色扮演两种模式。 在角色模仿模式下,输入一张角色图片和一段参考视频,模型可以将视频角色的动作和表情迁移到图片角色中,赋予图片角色动态表现力。而在角色扮演模式下,模型可以在保留原始视频的动作、表情及环境的基础上,将视频中的角色替换为图片中的角色。 通义万相团队构建了一个涵盖说话、面部表情和身体动作的大规模人物视频数据集,并基于通义万相图生视频模型进行后训练。Wan2.2-Animate 将角色信息、环境信息和动作等规范到统一的表示格式,实现了单一模型同时兼容两种推理模式。针对身体运动和脸部表情,模型分别使用骨骼信号和隐式特征...
