NVIDIA 开源通用游戏 AI 模型 NitroGen
NVIDIA 的人工智能研究团队近日推出了 NitroGen，这是一款针对通用游戏代理的开放视觉行动基础模型。NitroGen 能够从网络视频中直接学习如何通过游戏画面和手柄操作来玩商业游戏，整个模型经过40000小时的游戏体验训练，覆盖了超过1000款游戏，同时还提供了开放数据集、通用模拟器和预训练策略。 NitroGen 的构建流程始于公开的游戏视频，这些视频包含输入叠加层，如游戏手柄的可视化。研究团队收集了71000小时的原始视频，经过质量过滤后，最终得到40000小时的精选数据，涵盖了818位创作者的38，739个视频。数据显示，这些视频跨越846款游戏，其中34.9% 的游戏时间来自动作角色扮演类游戏，18.4% 来自平台类游戏，9.2% 来自动作冒险类游戏，剩余则涵盖了体育、 roguelike、赛车等多个类别。 在提取每帧动作的过程中，NitroGen 使用了三阶段的提取流程。首先，系统通过300个控制器模板定位手柄叠加层。接着，使用基于 SegFormer 的分类分割模型解析手柄区域，最后对坐标进行精细化处理。这一流程确保了动作预测的准确性，使得 NitroGen 能够...
