Meta 推出 DreamGym 框架，低成本高效训练 AI 代理
Meta 公司与芝加哥大学及加州大学伯克利分校的研究人员共同开发了一种新框架 ——DreamGym，旨在解决使用强化学习（RL）训练大型语言模型（LLM）代理所面临的高成本、复杂基础设施和不可靠反馈等问题。DreamGym 通过模拟 RL 环境来训练代理，使其能够高效地处理复杂应用程序。 DreamGym 在训练过程中能够动态调整任务难度，确保代理逐步学习并解决更具挑战性的问题。研究团队的实验表明，DreamGym 在完全模拟的环境下，以及需要将模拟学习应用于现实世界的场景中，都显著提升了 RL 训练的效果。在一些 RL 可以应用但成本高昂的环境中，DreamGym 能够仅依靠合成交互就达到与流行算法相媲美的性能，极大降低了数据收集和环境交互的成本。 使用强化学习训练 LLM 代理面临多种挑战，现实应用通常涉及长时间的操作序列和稀疏反馈，代理只有在经历一系列正确操作后才能获得正面信号。此外，收集足够多样和经过验证的数据也很昂贵，往往需要人类专家进行验证和标注。为了解决这些问题，DreamGym 提供了一种有效且安全的训练路径。 DreamGym 框架的核心由三个部分组成：第一是 “基于...
