字节 Seed 发布 GR-RL，首次实现真机强化学习穿鞋带-低调大师

字节 Seed 发布 GR-RL，首次实现真机强化学习穿鞋带

2025-12-02 19

字节跳动 Seed 团队发布最新研究成果 GR-RL，着力于拓展 VLA 模型在长时程精细灵巧操作方面的能力边界。

GR-RL 提出了一套从离线数据筛选到在线真机微调的强化学习框架，在业界首次实现“让机器人给整只鞋连续穿鞋带”。相较前作监督学习模型 GR-3，GR-RL 在穿鞋带任务上将成功率从 45.7% 提升至 83.3%，减少了近 70% 的失败情况。

根据介绍，在原有的 VLA 基础上，GR-RL 引入了一个额外的判别器网络（Critic Transformer），用于衡量机器人动作的质量，对动作序列中每个时刻的动作都进行一次打分。具体而言，GR-RL 采用了值分布强化学习，将判别器输出假设为一个离散概率分布，以更鲁棒地捕捉真实环境中存在的噪声。

基于此架构，GR-RL 设计了一套从经验中筛选、在实践中进化的多阶段训练框架。该框架包含三个核心环节：离线强化学习、数据增强以及在线强化学习。

在双臂轮式机器人 ByteMini-v2 上，团队基于“穿鞋带”任务对 GR-RL 进行了全流程验证。该机器人配备了独特的球形腕部关节设计，能够像人类手腕一样灵活转动，在精细灵巧任务中独具优势。

实验结果表明，纯模仿学习基线（GR-3）的成功率仅为 45.7%，难以应对精细操作。GR-RL 通过多阶段训练框架实现了性能的阶梯式跨越，三个核心组件都对成功率的提升有重要贡献：

数据过滤：剔除次优数据后，离线数据过滤将成功率提升至 61.6%；
数据增强：引入镜像数据扩充，成功率可提升至 72.7%；
在线强化学习：以增强后的离线学习模型作为在线强化学习的起点，经过约 150 条轨迹的真机闭环探索与修正，GR-RL 的成功率最终上升至 83.3%。

微信关注我们

原文链接：https://www.oschina.net/news/387144

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

当国产物联操作系统电鸿登上“电力杆”，它正在改变电力行业

在广东的北部山区，一名电力工人站在输电铁塔下，打开手持设备轻点几下，30公里外线路的实时数据立即呈现在屏幕上。而在过去，他需要花费4个小时爬塔检查。更重要的是，他不用再像过去那样爬上几十米的电线杆，通过“经验”去查找可能会出现的问题。这种变化始于2023年。当时，南方电网做了一件行业里没人做成的事，把发电、输电、配电、用电中涉及的上万台设备，用同一套操作系统连接起来，并利用无人机等外围设备对电力相关设备进行远程管理和检测。这套名为 “电鸿” 的电力物联操作系统成为了国内首个电力物联操作系统，而两年后的今天，它正在改变电力行业最基础的工作方式。 “以前安装调试一台设备需要4小时，现在通过电鸿系统远程操作，30分钟内就能完成闭环。”在近日的一场实地探访中，南方电网电鸿运营中心高级经理杜韶辉对第一财经表示，“电鸿化”让更多的运维人员坐在办公室就能管理千里之外的设备，不用再爬杆了。告别“爬杆时代” “系好安全绳，背上工具包，一步一步往上爬。”这是广州电力工人黄师傅对过去工作的记忆。过去，他每次外出检修都要携带五六台不同设备，负重攀登电线杆。“遇到刮风下雨，杆上作业更是危险。” 但如今，像...

2025-12-03

22

树莓派宣布因近期内存价格飙升而对树莓派4和树莓派5单板计算机进行涨价。同时，他们还推出了一款1GB内存的树莓派5版本，以满足那些对内存需求不高且希望将价格控制在最低限度的用户。树莓派官方称这次调整主要是为了“应对内存供应紧张” —— 涨价和增加低内存版本，都是为了“在不稳定的市场中保障供应”。树莓派 5 4GB 版的价格从 60 美元上涨到 70 美元，树莓派 5 8GB 版的价格从 80 美元上涨到 95 美元，树莓派 5 16GB 版的价格从 120 美元上涨到 145 美元。树莓派 4 单板计算机的价格也有所上涨。早在十月，树莓派就宣布由于内存需求增长，其 RPi 计算模块的价格将有所上涨。如今，由于内存需求旺盛且行业内存短缺，他们不得不提高其标准树莓派单板计算机的价格。同时，他们也表示这是“暂时的” —— 一旦内存价格回落，可能会恢复更低成本的计算方案。

2025-12-02

17

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。