英伟达研究团队日前正式开源发布了全新的基础模型NitroGen。官方介绍，NitroGen 是一个统一的视觉到行动模型，可以直接从原始帧中玩游戏。并且能做到将视频游戏帧作为输入，同时输出游戏手柄操作。

作为一款以“玩游戏”为核心训练目标的模型，NitroGen涵盖了包括《巫师3》、《赛博朋克2077》在内的1000多款不同类型的游戏，横跨RPG、赛车、吃鸡及2D/3D等多种形态。

NitroGen的诞生并非为了打造更强的“游戏AI”，而是旨在探索一种更普适的具身智能训练范式，即在大规模模拟环境中，学习跨物理规则的通用运动控制能力。

研究团队发现，最初为机器人场景设计的GR00T N1.5，在几乎不做修改的情况下，即可在机制差异极大的游戏任务中展现出惊人的适配力。

NitroGen的关键包括一个4万+ 小时、高质量、来自真实世界的公开视频游戏数据集，一个用于连续运动控制、能力极强的基础模型，以及一个Gym API，可以把任何游戏二进制程序封装起来跑rollout。

其中数据集包含800多款游戏，每款游戏的数据时长均超过1小时，还有15款游戏的数据时长均超过1000小时。而且NitroGen是全栈开源，包括预训练权重、完整动作数据集、训练与推理代码，以及一份技术细节充分的白皮书。

项目主页：https://huggingface.co/nvidia/NitroGen