DeepMind 强化学习团队副总裁：AI 的未来在于自主获取经验

近日，Google DeepMind 强化学习团队副总裁 David Silver 近日在一场重要播客中提出了关于 AI 未来发展的关键观点。

作为 DeepMind 创始成员和 AlphaGo 项目的核心人物，Silver 认为 AI 未来的突破将来自于其自主获取经验的能力，而非继续依赖人类数据。

Silver 在访谈中指出，AI 发展正从「人类数据时代」迈向「经验时代」。他解释道：

目前的 AI 方法基于一个共同理念：提取人类拥有的全部知识并’喂’给机器。但真正的突破将来自于机器与世界互动，产生自身经验的能力。

以 AlphaGo 和 AlphaZero 为例，Silver 阐述了 AI 自主学习的威力。AlphaZero 通过完全摒弃人类棋谱数据，仅靠自我对弈获取经验，反而达到了超越人类和早期版本 AlphaGo 的水平。他称这是 AI 领域的「苦涩教训」——人类知识有时反而会限制 AI 的自主学习能力。

Silver 还谈到了当前大语言模型中的强化学习应用。虽然基于人类反馈的强化学习(RLHF)帮助模型更符合人类偏好，但他认为这种方法无法让 AI 超越人类知识的「天花板」。「如果系统根据人类反馈学习，它最终只会输出人类认知内的内容，无法探索未知领域。」

Silver 将人类数据比作化石燃料，认为这是 AI 发展的「先发优势」，但真正可持续的「燃料」是 AI 自主生成的经验。

当化石燃料耗尽后，我们需要某种可持续燃料来维持世界运转。强化学习便是这种可持续燃料。

推荐阅读：OpenAI 研究员姚顺雨：AI 将由解决问题转为定义问题