Meta 开源 LlamaFirewall，面向 AI 智能体的安全框架
Meta 开源了名为 LlamaFirewall 的安全框架，用于应对 AI 智能体不断演变的威胁格局，为生产环境中的 AI 智能体提供系统级安全保护。 https://meta-llama.github.io/PurpleLlama/LlamaFirewall/ 随着大型语言模型（LLMs）嵌入 AI 智能体并被广泛应用于高权限场景，安全隐患随之增加。这些智能体可以读取邮件、生成代码、调用 API，一旦被恶意利用，后果不堪设想。 传统的安全机制，如聊天机器人内容审核或硬编码模型限制，已无法满足具备广泛能力的 AI 智能体需求。Meta AI 针对提示注入攻击、智能体行为与用户目标不一致、以及不安全的代码生成三大核心挑战，开发了 LlamaFirewall。 LlamaFirewall 采用分层框架，包含三个专门的防护模块： PromptGuard 2 是一个基于 BERT 架构的分类器，能实时检测越狱行为和提示注入，支持多语言输入，其 86M 参数模型性能强劲，22M 轻量版本则适合低延迟部署。 AlignmentCheck 是一种实验性审计工具，通过分析智能体内部推理轨迹，确保行为...
