逐际动力发布 LimX VGM：基于视频生成大模型的具身操作算法
近日，逐际动力 LimX Dynamics 公布具身智能操作最新突破，发布基于视频生成大模型的具身操作算法（VideoGenMotion，简称 LimX VGM），将推动利用「人类操作视频数据」实现机器人操作的技术创新。
LimX VGM 的工作流程包括三个关键步骤：
- 训练阶段：采集若干真实人类操作的视频，对现有的视频生成大模型进行后训练。
- 推理阶段：以初始场景结合任务操作指令作为提示Prompts，利用经过后训练的视频生成大模型生成带深度信息的人类操作视频，进而根据人类操作视频，生成机器人操作的行为。
- 执行阶段：算法输出符合机器人操作逻辑的行为解算，由机器人执行相应的操作轨迹。
据官方介绍，LimX VGM 的工作流程背后是逐际动力三大具身技术核心创新点：人类操作视频到机器人操作策略及行为的桥接、空间智能的引入、算法与机器人本体的解耦。
LimX VGM 通过人类操作视频数据对现有的视频生成大模型进行后训练，仅需将场景图片和操作任务指令作为提示 Prompts，即可实现任务理解与拆分、物体操作轨迹生成以及机器人操作执行的全流程，全过程零真机样本数据，并且可实现多平台泛化，这是国内首次实现将人类操作数据直接应用于机器人操作。
值得关注的是，通过引入空间智能 Spatial Intelligence 模块，LimX VGM 对视频生成大模型进行后训练时，引入深度信息，让生成的操作视频直接包含三维空间数据，从而让机器人能够理解并进行物理空间操作。
