小红书发布 DynamicFace 人脸生成技术
小红书AIGC团队近日正式发布了名为DynamicFace的可控人脸生成技术。针对图像及视频领域的人脸融合任务实现了高质量与高度一致性的置换效果。 与传统人脸置换方法相比,DynamicFace 独创性地将扩散模型(Diffusion Model)与可组合的 3D 人脸先验进行深度融合,针对人脸运动与身份信息进行了精细化解耦以生成更一致的人脸图像和视频。 可组合三维面部先验的显式条件解耦 针对现有方法在身份与运动表征中普遍存在的耦合冗余问题,Dynamicface 提出将人脸条件显式分解为身份、姿态、表情、光照及背景五个独立的表征,并基于 3DMM 重建模型获取对应参数。 具体而言,利用源图像提取身份形状参数 α,目标视频逐帧提取姿态 β 与表情 θ,随后渲染生成形状–姿态法线图,减少目标人脸身份泄露,最大程度保留源身份;表情信息仅保留眉毛、眼球及口唇区域的运动先验,避免引入目标身份特征;光照条件由 UV 纹理图经模糊处理得到,仅保留低频光照分量;背景条件采用遮挡感知掩码与随机位移策略,实现训练–推理阶段的目标脸型对齐。四条条件并行输入 Mixture-of-Guiders,每组由3×...


