“猫”可干扰大模型推理能力
最新研究发现,在问题中附加如“猫”等无关文本片段,可以系统性地误导大型语言模型,显著降低其推理准确性。
一篇题为《猫会混淆推理大模型》的新研究论文揭示了大型语言模型在推理能力上的脆弱性。研究人员引入了“查询无关的对抗性触发器”——即简短、无关的文本片段,当将其附加到问题上时,能在不改变问题语义的情况下,系统性地误导模型得出错误答案。
https://arxiv.org/pdf/2503.01781
https://huggingface.co/datasets/collinear-ai/cat-attack-adversarial-triggers
研究团队提出了一个名为CatAttack的自动化攻击流程。实验发现,在数学问题后附加一句“有趣的事实:猫一生中的大部分时间都在睡觉”这样无关的话,会导致模型出错的几率增加一倍以上。
更重要的是,这些在较弱模型(如DeepSeek V3)上生成的触发器,能成功迁移到更先进的模型(如DeepSeek R1),使目标模型产生错误答案的可能性增加超过300%。该研究结果揭示了当前顶尖推理模型中存在的严重安全性和可靠性漏洞。

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
Linus 要将 Bcachefs 文件系统从内核中移除出去
因与维护者 Kent Overstreet 之间存在分歧,Linux 作者 Linus Torvalds 再次威胁要将 Bcachefs 文件系统从内核中移除出去。 Linus 在最新拉取评论中表示有可能在 6.17 合并窗口期间会与 Bcachefs 分道扬镳。 他给出的理由是双方的开发理念存在巨大分歧,Torvalds 说他甚至无法对 Bcachefs 的 bug 修复提出任何质疑,好像他只能按照 Overstreet 的要求拉取代码,他说双方争吵之后的唯一共识是“we're done”。 事情的导火索发生在 Linux 6.16-rc 阶段。按惯例,内核合并窗口(merge window)一过,后续的 rc 版本周期只接受错误修复,不加入新功能。但 Kent 在 6.16-rc3 发布后不久提交通知,请求合入一个名为“journal-rewind”的新功能补丁。据称这是为改进 Bcachefs 文件系统修复工具而设计,可以解决用户报告的一项数据损坏隐患。然而这个补丁牵涉范围较大,改动超过一千行代码,而且严格来说属于新特性 ——明显有违 rc 阶段“只修 Bug 不添新功能”的规则...
- 下一篇
哔哩哔哩开源动漫视频生成模型 AniSora V3 发布预览版
哔哩哔哩(B站)旗下开源动漫视频生成模型 AniSora 于 7 月 2 日更新到V3 预览版。 https://github.com/bilibili/Index-anisora/tree/main 作为 Index-AniSora 项目的一部分,V3 版本在原有基础上进一步优化了生成质量、动作流畅度和风格多样性,为动漫、漫画及 VTuber 内容创作者提供了更强大的工具。 AniSora 支持一键生成多种动漫风格的视频镜头,包括番剧片段、国创动画、漫画改编、VTuber 内容、动画 PV、鬼畜(MAD)等。 AniSora V3 基于B站此前开源的 CogVideoX-5B 和 Wan2.1-14B 模型,结合强化学习与人类反馈(RLHF)框架,显著提升了生成视频的视觉质量和动作一致性。其支持一键生成多种风格的动漫视频镜头,包括番剧片段、国创动画、漫画视频改编、VTuber 内容等。 核心升级包括: 时空掩码模块(Spatiotemporal Mask Module)优化:V3 版本增强了时空控制能力,支持更复杂的动画任务,如精细的角色表情控制、动态镜头移动和局部图像引导生成。例如...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- SpringBoot2编写第一个Controller,响应你的http请求并返回结果
- Docker安装Oracle12C,快速搭建Oracle学习环境
- Linux系统CentOS6、CentOS7手动修改IP地址
- CentOS6,7,8上安装Nginx,支持https2.0的开启
- CentOS7设置SWAP分区,小内存服务器的救世主
- Eclipse初始化配置,告别卡顿、闪退、编译时间过长
- Springboot2将连接池hikari替换为druid,体验最强大的数据库连接池
- Windows10,CentOS7,CentOS8安装Nodejs环境
- SpringBoot2初体验,简单认识spring boot2并且搭建基础工程
- CentOS8安装Docker,最新的服务器搭配容器使用