国内首个 AI 大模型众测结果出炉,发现 281 个安全漏洞
在第22届中国网络安全年会(暨国家网络安全宣传周网络安全协同防御分论坛)上,国内首次针对AI大模型的众测结果揭晓。此次活动由中央网信办网络安全协调局指导,国家计算机网络应急技术处理协调中心主办,吸引了559名白帽子安全专家参与,对15款AI大模型和应用产品进行了全面的安全漏洞测试。
这项测试涵盖了从基础大模型到智能体和模型开发平台等多种产品,旨在从攻击者的角度发掘潜在的安全隐患。结果显示,共发现各类安全漏洞高达281个,其中大模型特有漏洞就有177个,比例超过60%。这说明,AI 大模型在安全性方面面临着传统安全领域之外的许多新兴风险。
测试中揭示的典型漏洞风险包括:部分产品存在严重的输出不当漏洞,信息泄露类漏洞频发,提示注入类漏洞也是一种普遍风险。此外,尽管一些大模型产品已经具备一定的防护能力,但对抗无限制消耗攻击的措施仍需加强。值得注意的是,传统的安全漏洞依然普遍,必须引起足够的重视。
在参与测试的主流大模型产品中,腾讯的混元大模型、百度的文心一言和阿里巴巴的通义 App 等,发现的漏洞相对较少,显示出较高的安全防护水平。这一结果为广大用户和开发者带来了信心。
活动最后,官方提出了四项 AI 大模型安全治理工作要求,强调了未来的防护措施和漏洞管理的重要性,包括加强安全防护、制定漏洞分类标准、鼓励社会白帽力量的参与,以及在 AI 系统全生命周期中融入安全管理。

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
-
上一篇
第二届“AI 宁波”人工智能赋能产业大赛火热报名中
为推动人工智能技术与产业深度融合,赋能产业创新发展,第二届 “AI 宁波” 人工智能赋能产业大赛正式向全球发出邀请 —— 诚邀人工智能领域的精英团队、科研人才踊跃报名,共赴这场 AI 赋能产业的创新盛宴!
-
下一篇
阿里通义推出开源 Web Agent:Tongyi DeepResearch
阿里通义实验室发布并开源了Tongyi DeepResearch,据称是首个性能对标 OpenAI Deep Research 的开源 Web Agent。 这是一款采用30B总参数、每token仅激活3B的MoE结构的模型。它拥有128K的上下文长度,并支持ReAct与IterResearch两种推理范式。 Tongyi DeepResearch 作为完全开源的 Web Agent。该项目的核心贡献不仅在于模型本身,更在于一套完整的、端到端的智能体训练方法论 。其关键技术包括: 全流程数据合成:不依赖昂贵的人工标注,通过创新的数据合成方案,为智能体的持续预训练(CPT)、监督微调(SFT)和强化学习(RL)提供海量高质量数据 。 端到端训练框架:建立了一个从“智能体持续预训练”到“智能体强化学习”的无缝训练循环,并采用定制化的在策略(on-policy)强化学习算法(GRPO)来对齐模型行为 。 创新的推理模式:除了标准的ReAct模式,还开发了基于IterResearch范式的“重模式”(Heavy Mode),通过解构任务和重组工作区来克服长程任务中的“认知窒息”问题,从而最大...
相关文章
文章评论
共有0条评论来说两句吧...