李飞飞创业公司 World Labs 发布实时生成式世界模型 RTFM
斯坦福大学教授李飞飞创业公司 World Labs 发布了全新实时生成式世界模型RTFM(Real-Time Frame Model),称这是一个实时、持持续运行且保持3D一致性的生成式世界模型,亮点是可在单个H100 GPU上运行。
据介绍,RTFM基于自回归扩散Transformer架构,通过端到端训练大规模视频数据,无需显式3D建模即可生成多视角2D图像,并模拟反射、阴影等复杂物理效果。模型支持从稀疏照片重建真实场景,结合空间记忆和上下文调度技术,确保场景持久性与一致性。
性能优势
- 单块H100 GPU即可实时渲染交互式画面,帧率稳定,算力需求远低于传统方案(如生成1小时4K视频需处理超1亿token)。
- 设计遵循高效性、可扩展性、持久性三大原则,未来可随算力提升扩展模型规模。
李飞飞团队表示,未来World Labs将进一步增强模型动态场景模拟与用户交互功能,更大规模模型有望带来更优性能。
模型地址:https://rtfm.worldlabs.ai/

