字节 OmniHuman-1.5 发布,一张图+音频秒变超真实视频
字节跳动数字人团队推出了 OmniHuman-1.5。 作为其前身OmniHuman-1的升级版本,OmniHuman-1.5延续了其前身的核心技术,通过单张图像和音频生成生动的人物视频。相比上一代,OmniHuman-1.5在真实感和泛化能力上实现了显著提升。得益于字节跳动团队优化后的多模态运动条件混合训练策略,生成的视频在动作自然度、唇形同步以及情感表达上更加细腻逼真。无论是真人形象还是动漫角色,OmniHuman-1.5都能生成与音频内容高度匹配的动态效果,展现出极高的视觉质量。 支持双人音频驱动是OmniHuman-1.5的一大亮点。传统AI视频生成技术多局限于单人场景,而OmniHuman-1.5首次实现了基于双人音频输入的视频生成,能够精准捕捉多角色间的交互动作与表情,为多人场景表演提供了技术支持。此外,该技术支持生成超过一分钟的视频,通过帧间连接策略确保长时间视频的连贯性和身份一致性,满足了更复杂的应用需求,如演讲视频、音乐MV等。 OmniHuman-1.5不仅局限于机械的动作生成,还能感知音频中的情感并通过视频表现出来。例如,根据音频的语调和情绪,系统可自动调整人物的...

