Jason Wei 提出“验证者定律”:所有可能解决且易于验证的任务都将被人工智能解决
Jason Wei(OpenAI核心科学家、思维链提示词核心作者、o1关键人物)近期提出验证不对称性理论及“验证者定律”(Verifier's Law),其核心观点是:训练AI解决一个任务的难易程度与该任务的可验证性成正比,所有可能解决且易于验证的任务,终将都被AI攻克。
验证的不对称性指的是有些任务验证起来比解决起来容易得多。随着强化学习的普遍应用,这个概念变得越来越重要。
比如:数独谜题、编写 Instagram 网页代码、或 BrowseComp 问题(找到答案很难,但验证起来非常简单)。
有的任务则接近对称,比如计算两个 900 位数字之和。还有些任务提出方案容易,但验证却很难(比如核实一篇长文章的事实,或提出“只吃野牛”的新饮食法)。
具体而言,任务的可验证性取决于以下五个关键属性:
- 客观真理:所有人对“好”的解决方案有普遍共识。
- 快速验证:任何给定的解决方案可在几秒钟内完成验证。
- 可扩展验证:可同时验证大量解决方案。
- 低噪声:验证结果与解决方案质量高度相关。
- 连续奖励:可对多个解决方案进行优劣排序 。
Jason Wei指出,过去十年中,大多数AI基准测试都符合前四条标准(因此已被解决),而符合这些标准的任务将推动AI快速进步,而难以验证的任务则进展缓慢。
此外,验证者定律也揭示了未来人类与AI协作的核心:将复杂、模糊的现实问题转化为AI可理解和优化的、可清晰验证的任务。
