Yoshua Bengio 和 Geoffrey Hinton 与其他 22 位领先的人工智能学者及专家，一起提出了一个政策和治理框架，旨在解决与人工智能相关的日益增长的风险。

Yoshua Bengio、Geoffrey Hinton 和 Yann LeCun 曾因在深度神经网络上的卓越贡献，一起获得了 2018 年 ACM A.M. 图灵奖，他们常被外界誉为“AI 教父”和“深度学习之父”。

Bengio 和 Hinton 这次提出的这份文件表示，企业和政府应将三分之一的人工智能研发预算用于人工智能安全，并强调了寻求具体研究突破以支持人工智能安全工作的紧迫性。呼吁开发人工智能的大型私营公司以及政府政策制定者和监管机构采取特别行动。

与其对人工智能能力的投资相当的是，公司和政府应将至少三分之一的人工智能研发预算用于确保安全和合乎道德的使用。

政府迫切需要全面了解人工智能的发展。监管机构应要求模型注册、举报人保护、事件报告以及模型开发和超级计算机使用的监控。

在部署之前，监管机构应有权访问先进的人工智能系统，以评估其危险功能，例如自主复制、闯入计算机系统或使大流行病病原体广泛传播。

政府还应该让“frontier AI”（对最先进人工智能的称呼）的开发商和所有者对其模型造成的可合理预见和预防的损害承担法律责任。

政府必须准备好许可某些人工智能开发，暂停开发以应对令人担忧的能力，强制执行访问控制，并要求对国家级黑客采取强有力的信息安全措施，直到准备好足够的保护措施。

文件主要关注那些正在开发自主人工智能或"能够规划、在世界上行动并追求目标"的系统的公司所带来的风险。

其中指出，Open AI 提供的尖端 GPT-4 模型很快就能用于浏览网页、设计和执行化学实验以及利用软件工具，包括其他 AI 模型。AutoGPT 等软件程序的创建就是为了实现此类人工智能流程的自动化，让人工智能处理在没有人工干预的情况下继续进行。但他们认为，这些自主系统存在失控的巨大风险，而且没有办法对其进行控制。

如果我们构建高度先进的自主人工智能，我们就有可能创建追求不良目标的系统。恶意行为者可能故意嵌入有害目标。此外，目前没有人知道如何可靠地将人工智能行为与复杂的价值观结合起来。即使是善意的开发人员也可能会无意中构建出追求意想不到目标的人工智能系统 —— 特别是如果他们为了赢得人工智能竞赛而忽视了昂贵的安全测试和人工监督。

文件还呼吁加速研究突破，以解决创建具有安全和道德目标的人工智能方面的一些技术挑战：

• 监督和诚实：能力更强的人工智能系统能够更好地利用监督和测试中的弱点——例如，通过产生虚假但令人信服的输出；
• 鲁棒性：人工智能系统在新情况下（在分布转移或对抗性输入下）表现不可预测；
• 可解释性：人工智能决策是不透明的。到目前为止，我们只能通过反复试验来测试大型模型。我们需要学会理解它们的内部运作；
• 风险评估：Frontier AI 系统会开发出不可预见的功能，这些功能只有在训练期间甚至部署后才发现。需要更好的评估以更早地发现危险能力；
• 应对新出现的挑战：能力更强的未来人工智能系统可能会表现出迄今为止仅在理论模型中出现的故障模式。例如，人工智能系统可能会学习假装服从或利用安全目标和关闭机制中的弱点来推进特定目标。

但与 Bengio 和 Hinton 观点不同的是，Yann Lecun 认为当前的人工智能风险不需要如此紧急的措施。

更多详情可查看此处。