小红书发布 DynamicFace 人脸生成技术

小红书AIGC团队近日正式发布了名为DynamicFace的可控人脸生成技术。针对图像及视频领域的人脸融合任务实现了高质量与高度一致性的置换效果。

与传统人脸置换方法相比，DynamicFace 独创性地将扩散模型（Diffusion Model）与可组合的 3D 人脸先验进行深度融合，针对人脸运动与身份信息进行了精细化解耦以生成更一致的人脸图像和视频。

• 可组合三维面部先验的显式条件解耦

针对现有方法在身份与运动表征中普遍存在的耦合冗余问题，Dynamicface 提出将人脸条件显式分解为身份、姿态、表情、光照及背景五个独立的表征，并基于 3DMM 重建模型获取对应参数。

具体而言，利用源图像提取身份形状参数 α，目标视频逐帧提取姿态 β 与表情 θ，随后渲染生成形状–姿态法线图，减少目标人脸身份泄露，最大程度保留源身份；表情信息仅保留眉毛、眼球及口唇区域的运动先验，避免引入目标身份特征；光照条件由 UV 纹理图经模糊处理得到，仅保留低频光照分量；背景条件采用遮挡感知掩码与随机位移策略，实现训练–推理阶段的目标脸型对齐。四条条件并行输入 Mixture-of-Guiders，每组由3×3 卷积与零卷积末端构成，在注入网络前经过 FusionNet 融合四条条件的特征后注入到扩散模型中，可在保持 Stable Diffusion 预训练先验的同时实现精准控制。

• 身份–细节双流注入机制

为实现高保真身份保持，DynamicFace 设计了双流并行注入架构。高层身份流由 Face Former 完成：首先利用 ArcFace 提取 512 维 ID Embedding，再通过可学习 Query Token 与 U-Net 各层 Cross-Attention 交互，确保全局身份一致性；细节纹理流由 ReferenceNet 实现，该网络为 U-Net 的可训练副本，将 512×512 源图潜变量经 Spatial-Attention 注入主网络，实现细粒度的纹理迁移。

• 即插即用时序一致性模块

针对时序一致性问题，DynamicFace 会在训练中插入时序注意力层来优化帧间稳定性，但时序层在处理长视频生成时会出现帧间跳动的现象。为此，我们提出了 FusionTVO，将视频序列划分为若干段，并为每段设置融合权重，在相邻段的重叠区域实行加权融合；并在潜变量空间引入总变差（Total Variation）约束，抑制帧与帧之间的不必要波动；对于人脸之外的背景区域，在每一步去噪迭代过程中采用目标图像中的背景潜变量空间进行替换，维持了场景的高保真度。