阿里开源视频生成模型 Wan2.2-S2V
阿里宣布开源全新多模态视频生成模型通义万相Wan2.2-S2V,通过一张静态图片和一段音频,可生成电影级数字人视频,该模型单次生成的视频时长可达分钟级,提升数字人直播、影视制作、AI教育等行业的视频创作效率。 根据介绍,Wan2.2-S2V可驱动真人、卡通、动物、数字人等多种类型图片,并支持肖像、半身以及全身等任意画幅,上传一段音频后,模型就能让图片中的主体形象完成说话、唱歌和表演等动作。 通义团队基于通义万相的通用视频生成能力,融合了文本引导的全局运动控制和音频驱动的细粒度局部运动,实现了复杂场景的音频驱动视频生成;引入AdaIN和CrossAttention两种控制机制,实现了更准确更动态的音频控制效果。 生成时长上,Wan2.2-S2V单次生成的视频时长可达业界领先的分钟级。 Wan2.2-S2V通过层次化帧压缩技术,大幅降低了历史帧的Token数量,通过该方式将motion frames(历史参考帧)的长度从数帧拓展到73帧, 从而实现了稳定的长视频生成效果。 Wan2.2-S2V还支持文本控制,输入Prompt后还可对视频画面进行控制,实现镜头运动、角色轨迹和实体间互动,让视...