OpenAI 设立 1000 万美元基金,支持超人类 AI 风险研究
OpenAI 宣布与 Eric Schmidt 合作,启动了一项 1000 万美元的新资助计划,以支持技术研究,确保超人类人工智能(superhuman AI)系统的一致性和安全性。 “我们相信超级智能可能在未来十年内到来。这些人工智能系统将拥有巨大的能力 —— 它们可能带来巨大的好处,但也可能带来巨大的风险。” 该公司表示,当前确保 AI 系统安全的手段主要是依赖于人工监督的对齐技术(例如 RLHF)。但超人类AI系统将能够执行人类无法完全理解的复杂且富有创造性的行为。例如,如果一个超人模型生成一百万行极其复杂的代码,人类将无法可靠地评估这些代码执行起来是安全还是危险,现有的技术可能不再够用。 “这就引出了一个根本性的挑战:人类如何引导和信任比自己聪明得多的人工智能系统?这是世界上尚未解决的最重要的技术问题之一。但我们认为,只要齐心协力,这个问题是可以解决的。现存许多有希望的方法和令人兴奋的方向,以及许多唾手可得的成果。” 作为其 Superalignment 项目的一部分,OpenAI 推出的这一资助计划旨在: 向学术实验室、非营利组织和个人研究人员捐赠 10 万至 200 万美元...


