LeRobot v0.5.0 现已正式发布，自 v0.4.0 以来合并了 200+ 个 PR。
公告称，这是目前规模最大的一次发布。几乎在所有方向上都实现了扩展：支持更多机器人 (包括首个类人机器人) 、更多策略模型 (包括回归的自回归 VLA) 、更快的数据集处理、可以直接从 Hub 加载的仿真环境，以及基于 Python 3.12 与 Transformers v5 的现代化代码库。无论你是在仿真环境中训练策略，还是在真实硬件上部署，v0.5.0 都提供了大量新能力。
LeRobot v0.5.0 新增 Unitree G1 类人机器人完整支持 (全身控制模型) ，并引入新的策略，包括 Pi0-FAST 自回归 VLA 和 Real-Time Chunking (实时分块) 用于实现更快响应的推理。同时还加入 流式视频编码，消除了录制任务之间的等待时间。
此外，本版本还推出了 EnvHub，允许直接从 Hugging Face Hub 加载仿真环境；集成 NVIDIA IsaacLab-Arena；并对代码库进行了全面现代化升级，包括 Python 3.12+、Transformers v5 以及第三方策略插件系统。
LeRobot v0.5.0 大幅扩展了支持的硬件设备，从机械臂、移动机器人到完整的类人机器人。本次发布中最重要的硬件新增是：对 Unitree G1 类人机器人的完整支持。这是 LeRobot 第一次集成类人机器人，而且支持非常全面：
- 运动能力 (Locomotion) ：可以行走、导航并在环境中移动。
- 操作能力 (Manipulation) ：能够执行精细的物体操作任务。
- 远程操控 (Teleoperation) ：通过直观的遥操作界面远程控制 G1。
- 全身控制 (Whole-Body Control, WBC) ：同时协调行走和操作，实现复杂的真实世界任务。
新增了对OpenArm机械臂以及其配套 OpenArm Mini 遥操作设备的支持。OpenArm 是一款性能出色的机械臂，并且已经实现完整的 LeRobot 集成，而 Mini 则作为它的自然遥操作设备。两者都支持双臂配置 (bi-manual) ，可以构建双机械臂系统，从而完成更复杂的操作任务。
硬件生态仍在持续扩展：
- Earth Rover：LeRobot 首次支持移动机器人，可用于户外导航和地面移动任务。
- OMX Robot：新增的机械臂平台，支持可配置夹爪参数和校准功能。
- SO-100/SO-101 统一实现：我们将 SO-100 和 SO-101 的实现整合到一个更简洁的代码库中 (包括双臂配置) ，减少重复代码，更易维护，同时保持原有功能。
通过 CAN (Controller Area Network) 总线新增了对电机控制器的支持，从而能够接入更高性能的执行器：
- RobStride：基于 CAN 的电机控制器，适用于高扭矩应用。
- Damiao：另一种 CAN 总线电机控制器，进一步扩展兼容硬件范围。
本次发布为 LeRobot 新增 6 种策略或技术，进一步推动开源机器人学习的发展。
Pi0-FAST 将自回归的 Vision-Language-Action (VLA) 模型引入 LeRobot，并采用 FAST (Frequency-space Action Sequence Tokenization) 方法。与 Pi0 使用的 flow-matching 方法不同，Pi0-FAST 使用 基于 Gemma 300M 的自回归动作专家模型，生成离散化的动作 token，实现：
- FAST Tokenization：动作被 token 化，便于自回归解码，使用专门的FAST action tokenizer。
- 灵活解码：可以通过温度参数和最大解码步数，在速度与质量之间进行权衡。
- 兼容 RTC：可与 Real-Time Chunking 结合，实现更快速的推理。
lerobot-train \
--policy.type=pi0_fast \
--dataset.repo_id=lerobot/aloha_sim_insertion_human \
--policy.device=cuda
Real-Time Chunking 是来自Physical Intelligence的推理阶段技术，可以显著提升 flow-matching 策略的响应速度。
传统方法需要等一个完整动作序列生成后再重新规划，而 RTC 会 持续融合新的预测与正在执行的动作，使机器人行为更加平滑、响应更快。RTC 不是独立策略，而是一个增强模块，可用于 Pi0 系列、SmolVLA 与 Diffusion 等策略。
启用方式：
--policy.rtc_config.enabled=true
在真实机器人部署中 (对延迟敏感的场景) ，这是一个非常重要的改进。
Wall-X 是一个新的 VLA 策略，基于Qwen2.5-VL构建，并使用 flow-matching 进行动作预测。它将 Qwen2.5-VL 的强大视觉语言理解能力与 flow-matching 控制头结合，实现 跨机器人形态控制 (cross-embodiment control) 。
pip install lerobot[wall_x]
lerobot-train \
--policy.type=wall_x \
--dataset.repo_id=lerobot/aloha_sim_insertion_human
X-VLA 将 基于 Florence2 的 VLA 模型引入 LeRobot。该模型基于 Microsoft 的 Florence-2 视觉语言模型，为机器人学习提供了另一种基础模型选择，进一步增加模型多样性。
pip install lerobot[xvla]
lerobot-train \
--policy.type=xvla \
--dataset.repo_id=lerobot/bimanual-so100-handover-cube
SARM (Stage-Aware Reward Modeling) 用于解决机器人学习中一个非常困难的问题：长时序任务 (long-horizon tasks) 。传统方法通常使用单一线性进度信号，而 SARM 会 同时预测任务阶段以及阶段内进度，从而更准确地描述任务进展。这种方式可以显著提高复杂多步骤操作任务的训练效果。
现在你可以使用 LoRA 等 PEFT 方法对大型 VLA 模型进行微调，而无需修改核心训练流程。PEFT 配置在策略层进行管理，可以用较少算力将大型基础模型适配到特定机器人和任务。
lerobot-train \
--policy.type=pi0 \
--policy.peft_config.use_peft=true \
--dataset.repo_id=lerobot/aloha_sim_insertion_human
本次发布对数据集处理流程进行了重大优化，使数据采集和训练速度显著提升。
过去在录制数据集时，每个 episode 结束后都需要等待视频编码完成。现在不需要等待了。通过 Streaming Video Encoding (流式视频编码) ，视频帧会在采集时实时编码，实现 episode 之间零等待时间。系统还支持自动检测硬件编码器，如果 GPU 提供视频编码能力，会自动使用。
dataset = LeRobotDataset.create(
repo_id="my/dataset",
fps=30,
video_backend="auto",
streaming_encoding=True,
)
在底层实现中，修复了数据访问瓶颈，并重构了图像处理流程：
- 图像训练速度提升 10 倍：优化图像变换流程并修复隐藏的数据访问瓶颈。
- 编码速度提升 3 倍：默认启用并行编码，并根据数据类型动态调整压缩级别。
- 更高 CPU 利用率：录制和数据集创建时资源使用更加高效。
数据集编辑工具也持续增强：
- 子任务支持：可以在 episode 中标注子任务，支持层级任务学习。
- 图像转视频：将现有图像数据集转换为视频格式，提高存储效率，并支持多个 episode 合并到同一视频文件。
- 更多编辑操作：新增 info 数据集检查功能、任务修改工具，以及对拆分、合并、特征编辑等操作的修复。
- 更多配置选项：可自定义视频编码格式、容差设置和元数据缓冲大小。
EnvHub 让 LeRobot 可以 直接从 Hugging Face Hub 加载仿真环境。过去需要在本地安装环境并手动注册，现在只需要指定 Hub 仓库即可：
- 自动下载环境代码
- 自动注册到 Gymnasium
- 直接用于训练和评估
Hub 环境使用 HubEnvConfig，会下载并执行远程 make_env 函数：
lerobot-train \
--env.type=hub \
--env.hub_path="username/my-custom-env" \
--policy.type=act
还集成了 NVIDIA IsaacLab-Arena，为 LeRobot 带来 GPU 加速仿真。
IsaacLab-Arena 提供了一系列基于 NVIDIA Isaac Sim 的操作任务环境，并支持大规模并行环境实例，从而加速强化学习训练。该集成包括：
- 专门的前处理和后处理流程
- 与 LeRobot 训练流程完全兼容
本版本对代码库进行了全面升级：
- Python 3.12+ ：LeRobot 现在要求 Python 3.12 作为最低版本，从而能够使用更现代的语法并获得更好的性能。
- Transformers v5：项目已经迁移到 Hugging Face Transformers v5，以保持与最新模型生态的兼容。
- 第三方策略插件：类似于 v0.4.0 的硬件插件系统，现在也可以把自定义策略注册为可安装的插件包，例如：pip install lerobot_policy_mypolicy，然后通过 --policy.type=mypolicy 使用，无需修改核心库代码。具体方法可以参考文档。
- 远程 Rerun 可视化：可以使用 Rerun 远程可视化机器人的遥测数据，并支持图像压缩，从而实现更节省带宽的数据流传输。
- 安装流程改进：新增 uv 的安装说明，同时进一步明确了安装步骤，并优化了依赖管理。现在顺序安装流程也在文档中有清晰说明。
- 文档版本管理：文档现在支持版本化，可以始终查阅与你当前安装版本对应的文档。
- PyTorch 版本更新：更新了 PyTorch 的版本范围，以支持 NVIDIA Blackwell GPU。
