AI 也会 “脑损伤”?研究揭示低质量数据对大语言模型的影响

最近一项研究表明,大语言模型(LLM)在持续接触低质量数据后,会出现类似于人类的 “脑损伤” 现象,导致推理和记忆能力显著下降。

研究者发现,AI 模型在接受高流行但低价值的社交媒体数据(如 Twitter)训练后,推理能力下降了23%,长上下文记忆能力下降了30%。而更令人担忧的是,这种损伤是不可逆的,即使在后续用高质量数据进行训练,模型也无法完全恢复到初始状态。

这项研究由一组 AI 研究者进行,他们对低质量数据进行了详细定义,并与高质量数据进行对比。他们将低质量数据归类为 “短文本、高热度” 的内容,特别是那些包含标题党和流行语的社交媒体帖子。

研究表明,AI 模型接触这些低质量数据后,除了认知能力下降外,其人格特征也受到影响,表现出更多的自恋和精神病态特质。

研究团队选择了四个不同的大语言模型进行训练,分别让它们接受这两类数据。研究过程中,模型的核心能力通过多种维度进行评估,包括推理能力、记忆能力和道德规范的遵循。结果显示,“垃圾进垃圾出” 的原则确实适用于大语言模型,这一发现对未来的 AI 数据训练提出了新的警示。

研究人员认为,行业在训练 AI 时,必须关注数据的质量,避免低质量数据带来的潜在风险。此外,他们还建议在部署大模型时,应进行认知能力的基准测试,以确保 AI 不因长期接触低质量数据而导致能力退化。

优秀的个人博客,低调大师

微信关注我们

原文链接:https://www.oschina.net/news/383992

转载内容版权归作者及来源网站所有!

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

相关文章

发表评论

资源下载

更多资源
优质分享Android(本站安卓app)

优质分享Android(本站安卓app)

近一个月的开发和优化,本站点的第一个app全新上线。该app采用极致压缩,本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario,低调大师唯一一个Java游戏作品

Mario,低调大师唯一一个Java游戏作品

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长,特征是大鼻子、头戴帽子、身穿背带裤,还留着胡子。与他的双胞胎兄弟路易基一起,长年担任任天堂的招牌角色。

Apache Tomcat7、8、9(Java Web服务器)

Apache Tomcat7、8、9(Java Web服务器)

Tomcat是Apache 软件基金会(Apache Software Foundation)的Jakarta 项目中的一个核心项目,由Apache、Sun 和其他一些公司及个人共同开发而成。因为Tomcat 技术先进、性能稳定,而且免费,因而深受Java 爱好者的喜爱并得到了部分软件开发商的认可,成为目前比较流行的Web 应用服务器。

Eclipse(集成开发环境)

Eclipse(集成开发环境)

Eclipse 是一个开放源代码的、基于Java的可扩展开发平台。就其本身而言,它只是一个框架和一组服务,用于通过插件组件构建开发环境。幸运的是,Eclipse 附带了一个标准的插件集,包括Java开发工具(Java Development Kit,JDK)。