通义万相全新动作生成模型 Wan2.2-Animate 正式开源

阿里云宣布通义万相全新动作生成模型 Wan2.2-Animate 正式开源。该模型能够驱动人物、动漫形象和动物照片,广泛应用于短视频创作、舞蹈模板生成、动漫制作等领域。用户可以在 GitHub、HuggingFace 和魔搭社区下载模型和代码,也可以通过阿里云百炼平台调用 API 或在通义万相官网直接体验。

Wan2.2-Animate 模型是基于此前开源的 Animate Anyone 模型全面升级的成果,在人物一致性、生成质量等指标上大幅提升,同时支持动作模仿和角色扮演两种模式。

在角色模仿模式下,输入一张角色图片和一段参考视频,模型可以将视频角色的动作和表情迁移到图片角色中,赋予图片角色动态表现力。而在角色扮演模式下,模型可以在保留原始视频的动作、表情及环境的基础上,将视频中的角色替换为图片中的角色。

通义万相团队构建了一个涵盖说话、面部表情和身体动作的大规模人物视频数据集,并基于通义万相图生视频模型进行后训练。Wan2.2-Animate 将角色信息、环境信息和动作等规范到统一的表示格式,实现了单一模型同时兼容两种推理模式。针对身体运动和脸部表情,模型分别使用骨骼信号和隐式特征,配合动作重定向模块,实现动作和表情的精准复刻。在替换模式中,团队还设计了一个独立的光照融合 LoRA,用于保证完美的光照融合效果。

实测结果显示,Wan2.2-Animate 在视频生成质量、主体一致性和感知损失等关键指标上超越了 StableAnimator、LivePortrait 等开源模型,成为目前性能最强的动作生成模型。在人类主观评测中,Wan2.2-Animate 甚至超越了以 Runway Act-two 为代表的闭源模型。

优秀的个人博客,低调大师

微信关注我们

原文链接:https://www.oschina.net/news/373210

转载内容版权归作者及来源网站所有!

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

相关文章

发表评论

资源下载

更多资源
优质分享Android(本站安卓app)

优质分享Android(本站安卓app)

近一个月的开发和优化,本站点的第一个app全新上线。该app采用极致压缩,本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Eclipse(集成开发环境)

Eclipse(集成开发环境)

Eclipse 是一个开放源代码的、基于Java的可扩展开发平台。就其本身而言,它只是一个框架和一组服务,用于通过插件组件构建开发环境。幸运的是,Eclipse 附带了一个标准的插件集,包括Java开发工具(Java Development Kit,JDK)。

Java Development Kit(Java开发工具)

Java Development Kit(Java开发工具)

JDK是 Java 语言的软件开发工具包,主要用于移动设备、嵌入式设备上的java应用程序。JDK是整个java开发的核心,它包含了JAVA的运行环境(JVM+Java系统类库)和JAVA工具。

Sublime Text 一个代码编辑器

Sublime Text 一个代码编辑器

Sublime Text具有漂亮的用户界面和强大的功能,例如代码缩略图,Python的插件,代码段等。还可自定义键绑定,菜单和工具栏。Sublime Text 的主要功能包括:拼写检查,书签,完整的 Python API , Goto 功能,即时项目切换,多选择,多窗口等等。Sublime Text 是一个跨平台的编辑器,同时支持Windows、Linux、Mac OS X等操作系统。