谷歌 DeepMind 最新发布了名为 D4RT（Dynamic 4D Reconstruction and Tracking）的 AI 模型，突破了传统 AI 对视频感知的限制，使机器能够像人类一样“看到”并理解动态世界——不仅是空间的 3 维，还包括时间这一第四维度。

据介绍，D4RT 是一个统一、高效的 AI 模型，能够从普通 2D 视频中重建 3D 场景和物体随时间的运动轨迹。传统技术通常需要多个独立组件分别处理深度估计、运动跟踪、相机位姿等任务，这不仅复杂且运算量大。D4RT 则将这些功能整合到一个 Transformer 架构中，通过一种灵活的查询机制统一完成。

其核心思想是：

系统可以被问一个关键问题——某个像素在某一时刻、某一视角下的 3D 位置在哪里？
然后通过高效的查询机制快速给出答案。

D4RT 的表现远超现有方法：

• 通过统一的架构和并行查询处理，它在多个 4D 场景重建任务中表现优异。

• 在标准数据集上，它比传统技术快 18× 到 300×，例如处理 1 分钟视频只需约 5 秒（而以前的模型可能需要数分钟）。

• 即使当物体暂时被遮挡或离开画面，D4RT 也能准确预测其运动轨迹。

D4RT 不仅是理论模型，还具备实际应用价值：

• 点追踪（Point Tracking）：可从视频中追踪像素在 3D 空间中随时间的移动轨迹。
• 点云重建（Point Cloud Reconstruction）：能在任意时间下生成完整的 3D 结构。
• 相机位姿估计（Camera Pose Estimation）：重建相机路径和姿态，无需额外外部信息。

D4RT 的技术突破不仅提升了 4D 场景理解的速度与准确性，还意味着 AI 系统可以更接近真实世界感知能力：

• 机器人：实时感知动态环境，有助于导航与操作。
• 增强现实（AR）：可为 AR 设备提供低延迟、精确的空间理解。
• “世界模型”：帮助 AI 更好地理解物体、相机与时间之间的关系，是通向更高级智能的一步。

谷歌 DeepMind 表示，D4RT 将视觉理解从传统的二维视频分析推进到了真正的“四维时空感知”。其统一而高效的架构不仅突破了性能瓶颈，还在真实应用场景中展现出强大潜力，为下一代智能机器感知动态现实奠定了基础。