字节跳动 Seed 团队宣布推出 3D 生成大模型——Seed3D 1.0，实现从单张图像到高质量仿真级 3D 模型的端到端生成。
根据介绍，Seed3D 1.0 基于创新的 Diffusion Transformer 架构，通过大规模数据训练完成，可生成包括精细几何、真实纹理和基于物理渲染（PBR）材质的完整 3D 模型。
通过 Seed3D 1.0 生成的 3D 模型能够无缝导入 Isaac Sim 等仿真引擎，仅需少量适配工作即可支持具身智能大模型训练。此外，通过分步的场景生成，Seed3D 1.0 可从单个物体生成，拓展至构建完整的 3D 场景。
公告称，与现有 3D 生成模型对比，Seed3D 1.0 的纹理与材质生成性能超过此前的开源及闭源模型，几何生成性能超过业界更大参数规模的模型，综合能力达到行业领先水平。
Seed3D 1.0 构建了完整的三阶段数据处理管线，将海量异构的原始 3D 数据转化为高质量训练集。
![]()
处理流程包括三个关键步骤：首先统一原始数据的坐标系和文件格式；然后进行数据去重、姿态转正和类别标注等预处理；最后完成几何表面重构和多视角图片渲染，并生成标准化的训练数据。
团队还开发了高效的分布式数据处理框架，支持大规模数据的存储、索引和可视化，且构建了稳定的训练基础设施，确保大规模扩散模型训练的可靠性。
Seed3D 1.0 采用生成式 AI 广泛应用的模型架构 Diffusion Transformer，来设计 3D 几何生成和纹理贴图模型。
Seed3D 1.0 可以实现对 3D 几何的高精度构建，既能生成精确的结构细节，又能保证封闭曲面、流形几何等形态的物理完整性，以满足仿真计算要求。如下图所示，Seed3D 1.0 在几何生成方面包括两个核心模块：
（1）VAE 编码器：学习 3D 几何的紧凑表征，能高效处理复杂网格结构并保留表面细节。
（2）Diffusion Transformer 模型：在隐变量空间中基于输入图像生成高质量 3D 几何。
这种架构设计既提升了生成效率，又确保了几何的精确性和物理完整性。
![]()
除了精细的几何结构，纹理贴图也是保证 3D 生成视觉效果和多样性的关键。如下图所示，Seed3D 1.0 基于多模态 Diffusion Transformer 架构，构建了多视角图片生成模型。模型输入参考图片和 3D 几何渲染图，输出多视角一致的纹理图像。
![]()
其核心创新在于上下文内多模态控制策略和优化的位置编码机制，可确保不同视角间的一致性。针对多视图生成中序列长度增长的挑战，团队采用了偏移时间步采样技术来保证生成质量。
高质量材质是实现逼真 3D 渲染的关键。PBR 材质由反射率、金属度和粗糙度三个分量构成，决定了物体的视觉真实性。当前的 PBR 合成方法主要分为两大类：生成式方法通过参考图像和 3D 几何信息合成 PBR 贴图，而直接估计方法从多视图图像中学习分解各项材质分量。受限于高质量 PBR 训练数据的稀缺性，生成式方法的效果往往不如估计式方法真实自然。
基于此考量，Seed3D 1.0 采用估计方法框架。相较于现有方法，团队提出了一种基于 Diffusion Transformer 模型网络的 PBR 生成模型，保证高效生成的同时提升了材质估计的准确性，在数据量有限的情况下具备更强的泛化能力。
![]()
如图所示，Seed3D 1.0 直接从多视角图像中学习材质分解，不仅能准确分解出各材质分量，且生成的 PBR 材质在不同光照条件下都能呈现真实的视觉效果。
测评结果显示。Seed3D 1.0 在细节保持和结构完整性方面优于其他方法，1.5B 参数的 Seed3D 1.0 在性能上超过了业界 3B 参数的模型（Hunyuan3D-2.1），能够更准确地还原复杂物体的精细特征。
在几何生成方面，Seed3D 1.0 在几何质量与透视结构上的表现优于其他基线方法，同时，Seed3D 1.0 的材质纹理表现突出，在输入图片保持、视觉清晰度及细节丰富度上均大幅领先，达到 SOTA 水平。
![]()
不过，项目团队也坦承，要基于 3D 生成大模型搭建世界模型仍面临生成精度、泛化性需进一步提升等挑战。大规模、自动化的高质量 3D 场景生成，依然处于探索的初期阶段。未来，团队将尝试引入多模态大语言模型（MLLM）来提升 3D 生成的质量和鲁棒性，并推动 3D 生成模型在世界模拟器中的大规模应用。
