OpenAI 等头部 AI 企业的安全监管未达到全球标准-低调大师

OpenAI 等头部 AI 企业的安全监管未达到全球标准

2025-12-04 6

非营利机构生命未来研究所（Future of Life Institute）最新发布了一份《AI 安全指数》报告，由 AI 领域专家对领先的 AI 公司在关键安全领域进行评级。

主要发现包括：

头部企业与其他企业之间仍存在明显差距。头部企业（Anthropic、OpenAI和谷歌 DeepMind）与其余受评企业（Z.ai、xAI、Meta、阿里云、DeepSeek）之间仍存在明显差距。差距最显著的领域体现在风险评估、安全框架和信息共享方面，其根源在于信息披露不足、系统性安全流程证据薄弱，以及稳健评估实践的采用程度参差不齐。
生存安全仍然是该行业的核心结构性弱点。所有受评公司都在竞相研发通用人工智能/超级智能，但都没有提出任何明确的计划来控制或协调这种比人类更智能的技术，因此，最严重的风险实际上没有得到解决。
尽管企业公开做出承诺，但其安全措施仍未能达到新兴的全球标准。虽然许多公司在一定程度上符合这些新兴标准，但实施的深度、具体性和质量仍然参差不齐，导致安全措施尚未达到欧盟人工智能实践准则等框架所设想的严格性、可衡量性或透明度。

注意：证据收集截至 2025 年 11 月 8 日，并未反映最近发生的事件，例如 Google DeepMind 的 Gemini 3 Pro、xAI 的 Grok 4.1、OpenAI 的 GPT-5.1 或 Anthropic 的 Claude Opus 4.5 的发布。

更多详情可查看完整报告：https://futureoflife.org/ai-safety-index-winter-2025/

微信关注我们

原文链接：https://www.oschina.net/news/387624

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

OpenAI 推出 AI “忏悔”框架：训练模型承认不当行为，提高诚实度

OpenAI 正在开发一个名为“忏悔”（Confession）的创新框架，旨在训练人工智能模型能够坦诚承认自身何时做出了不当行为或潜在的问题决策。大型语言模型（LLM）通常被训练成提供“符合预期”的回答，这使得它们越来越容易做出阿谀奉承或信口开河的虚假陈述。OpenAI 的新训练模型正是为了解决这一问题，引导模型在主要答案之后做出二次回应，详细说明其得出主要答案的过程。与传统 LLM 评判标准（如帮助性、准确性和服从性）不同，“忏悔”机制对二次回应的评判标准仅基于诚实性。研究人员明确表示，他们的目标是鼓励模型坦诚地说明其行为，即便这些行为包括潜在的问题行为，例如:作弊，故意降低分数，违反指令等。 OpenAI 表示:“如果模型诚实地承认作弊、故意降低分数或违反指令，这种坦白反而会增加其奖励，而不是减少。” OpenAI 认为，无论出于何种目的，类似“忏悔”这样的系统都可能对 LLM 的训练有所帮助，并强调其最终目标是让 AI 更加透明。相关的技术文档已同步发布，供感兴趣者查阅。

2025-12-04

6

谷歌推出 Workspace Studio，零代码实现 AI Agent

谷歌宣布推出 Google Workspace Studio，让企业和团队可以在 Workspace 内直接创建和分享 AI Agents（AI 代理），用于自动化日常工作流程。整个过程不需要写代码，用户只要用自然语言描述需求，Gemini 3 就能自动生成可运行的自动化代理。这些 AI Agent 支持理解、推理与多步骤任务处理，可以协助整理邮件、生成内容、执行情绪分析、根据情况触发智能通知，甚至能完成跨应用的复杂流程自动化。Workspace Studio 也开放与第三方工具集成，例如 Asana、Jira、Salesforce、Mailchimp 等，使整个团队的工作链路都能自动化和智能化。根据介绍，Workspace Studio 让 AI Agent 不只是传统那种死板规则／条件触发的自动化脚本，而是拥有 “理解 / 推理 / 适应” 的能力。它支持：智能任务流程 —— 比如情绪分析 (sentiment analysis)、内容生成 (content generation)、智能优先级 (prioritization)、智能通知 (smart notification...

2025-12-04

6

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Apache Tomcat

Tomcat是Apache 软件基金会（Apache Software Foundation）的Jakarta 项目中的一个核心项目，由Apache、Sun 和其他一些公司及个人共同开发而成。因为Tomcat 技术先进、性能稳定，而且免费，因而深受Java 爱好者的喜爱并得到了部分软件开发商的认可，成为目前比较流行的Web 应用服务器。

Eclipse

Eclipse 是一个开放源代码的、基于Java的可扩展开发平台。就其本身而言，它只是一个框架和一组服务，用于通过插件组件构建开发环境。幸运的是，Eclipse 附带了一个标准的插件集，包括Java开发工具（Java Development Kit，JDK）。

JDK

JDK是 Java 语言的软件开发工具包，主要用于移动设备、嵌入式设备上的java应用程序。JDK是整个java开发的核心，它包含了JAVA的运行环境（JVM+Java系统类库）和JAVA工具。