字节跳动开源 4D 视频生成框架 EX-4D

字节跳动旗下PICO-MR团队正式开源了 EX-4D，一款突破性的4D视频生成框架；能够从单一视角（单目）视频生成高质量、多视角的4D视频序列(3D空间+时间维度)。

传统视频生成技术在多视角生成方面面临两大挑战:一是需要昂贵的多视角相机和数据集进行训练;二是难以处理遮挡区域，导致生成的视频在极端视角下出现物体穿帮或细节失真。EX-4D通过创新的深度密闭网格（DW-Mesh）表示和轻量级适配架构，成功解决了这些问题。

DW-Mesh是EX-4D的核心技术，它通过构建全密闭网格结构，记录场景中的可见和隐形面片，无需多视角监督即可统一处理复杂场景拓扑。结合预训练深度预测模型，EX-4D将单帧像素投影到3D空间，形成网格顶点，并根据几何关系精准标记遮挡区域。这种方法确保了生成视频在极端视角（如±90°）下仍能保持物理一致性和细节完整性。

此外，EX-4D引入了两种模拟mask生成策略——渲染 mask 和跟踪mask，通过模拟视角移动和帧间一致性，破解了多视角训练数据的稀缺难题。这些策略使EX-4D仅凭单目视频即可“脑补”全视角数据，极大降低了数据采集成本。

性能测试结果表明，EX-4D在 FID（弗雷歇距离）、FVD(弗雷歇视频距离) 和 VBench 等行业标准指标上全面超越现有开源方法。尤其在极端视角(如接近90°)的生成任务中，EX-4D的性能优势尤为明显，生成的视频在物体细节和遮挡逻辑上表现更为真实。

在一项由50位志愿者参与的主观评估中，70.7%的参与者认为EX-4D在极端视角下的物理一致性远超其他开源方法。

EX-4D基于预训练的WAN-2.1模型，结合 LoRA-based Adapter 架构，在保持计算效率的同时，融入了DW-Mesh的几何先验信息，确保生成视频的几何一致性和帧间连贯性。这种轻量级设计使得EX-4D在资源受限的环境下也能高效运行，适合广泛的开发场景。

字节跳动PICO-MR团队负责人表示，EX-4D是团队在3D重建与4D场景生成领域多年研究的结晶，未来将继续优化模型性能，探索更广泛的应用场景。