OpenAI 收购 AI 安全平台 Promptfoo,强化 AI Agent 安全测试能力
OpenAI 宣布收购 AI 安全创业公司 Promptfoo,以增强其在 AI 应用与智能代理(Agent)安全测试方面的能力。交易金额尚未披露。此次收购将把 Promptfoo 的安全测试与“红队攻击”(red teaming)技术整合进 OpenAI 的企业级 AI Agent 平台,用于提前发现潜在漏洞与滥用风险。 AI Agent 时代,安全成为关键基础设施 随着 AI 从单纯的聊天模型逐渐演进为能够执行复杂任务的 AI Agent,系统安全问题变得愈发关键。OpenAI 表示,未来企业是否愿意大规模部署 AI,很大程度上取决于其安全性、可靠性与可控性。因此,在模型能力之外,安全验证与风险评估正在成为核心竞争力。 Promptfoo 的技术正是围绕这一需求构建。该平台能够模拟真实用户或恶意攻击者,对 AI 应用进行自动化测试,例如: Prompt Injection 攻击检测 数据泄露风险识别 工具调用权限滥用检测 LLM 与 Agent 的对抗测试(red teaming) 这些能力可以在 AI 系统上线前发现潜在漏洞,从而减少被攻击或滥用的风险。 从 Prompt 测试到...


