清华团队开源 GUAVA:0.1 秒由照片生成 3D 数字人
清华深研院与国际数字经济研究院的中国团队近日推出了名为 GUAVA 的新技术。通过仅一张照片,GUAVA 能够在0.1秒内生成一个高质量的3D 高斯化身,并实时驱动,画面流畅度超过50帧每秒。 传统上,创建高质量的3D 数字人需要复杂的多视角拍摄,或者耗时耗力的视频数据训练,往往需要几个小时才能完成。与其他方法相比,GUAVA 的重建速度可谓惊人,所需时间仅为0.1秒,而其他算法如 ExAvatar 需要2.4小时,GaussianAvatar 需1.3小时,甚至 GART 也需7分钟。 GUAVA 的优越表现得益于其创新的技术架构,主要包含两个关键组件:EHM 模型和3D 高斯泼溅。EHM 模型通过结合 SMPLX 和 FLAME 技术,确保了人脸表情的高保真度和精准控制,而3D 高斯泼溅则通过将场景拆分为数百万个3D 高斯球体,从而实现快速渲染。这种方法使得 GUAVA 在身份一致性上也表现出色,相关指标超过了竞争对手的水平。 在实际应用方面,GUAVA 能够为自媒体、直播、电子商务和教育等多个领域提供强大的支持。自媒体用户可以通过一张图片迅速创建可定制的角色,极大缩短了制作周期;...
