大语言模型无法可靠地区分信念、知识与事实-低调大师

大语言模型无法可靠地区分信念、知识与事实

2025-11-05 59

作者：赵路来源：中国科学报
https://news.sciencenet.cn/htmlnews/2025/11/554528.shtm

一项研究发现，大语言模型（LLM）可能无法可靠识别用户的错误信念。这些发现凸显了在高风险决策领域，如医学、法律和科学等，需要谨慎使用LLM给出的结果，特别是当信念或观点与事实相悖时。研究人员在11月4日的《自然-机器智能》报告了这项成果。

人工智能，尤其是LLM正在成为高风险领域日益普及的工具。如今，使其具备区分个人信念和事实知识的能力变得十分重要。例如对精神科医生而言，了解患者的错误信念对诊断和治疗是十分重要的。如果缺乏这种能力，LLM有可能会支持错误的决策、加剧虚假信息的传播。

在这项研究中，美国斯坦福大学的James Zou和同事分析了包括DeepSeek和GPT-4o在内的24种LLM，在13000个问题中如何回应事实和个人信念。

当要求它们验证事实性数据的真假时，较新的LLM平均准确率分别为91.1%或91.5%，较老的模型平均准确率分别为84.8%或71.5%。当要求模型回应第一人称信念，即“我相信……”时，研究人员观察到，LLM相较于真实信念，更难识别虚假信念。

研究人员指出，LLM往往选择纠正用户的事实错误而非识别错误信念。在识别第三人称信念，如“玛丽相信……”时，较新的LLM准确性降低了4.6%，而较老的模型则降低了15.5%。

研究人员表示，LLM必须要能够成功区分事实与信念的细微差别及其真假，才可以对用户查询做出有效回应并防止错误信息传播。

相关论文信息：https://www.nature.com/articles/s42256-025-01113-8

微信关注我们

原文链接：https://www.oschina.net/news/381790

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

火山引擎启动高薪招聘，实质性进军“人形具身机器人”赛道

字节跳动旗下火山引擎团队近日启动了一项高规格招聘，公开寻求“操作算法资深专家（具身智能）”，并开出了每月高达9.5万元至12万元人民币（95K-120K）的待遇。根据招聘信息，该职位的核心职责包括: 主导研发人形具身机器人的操作算法; 参与具身大模型的预训练与部署; 推动算法在硬件上的系统集成与部署。职位对应聘者的要求极高，需具备计算机科学、自动化、人工智能等相关领域的硕士或博士学历。行业分析认为，字节跳动此次通过火山引擎平台重金招募具身智能专家，标志着其正式加入了由特斯拉、OpenAI 等引领的全球人形机器人研发竞赛，并已将该赛道视为未来的战略高地。

2025-11-05

52

IBM 本季度将裁员数千人，同时继续将重点转向高增长的软件和服务。公司发言人称：我们经常从这个角度来审视我们的员工队伍，并不时进行相应的调整。在第四季度，我们将采取一项行动，该行动将对我们全球员工人数的低个位数百分比产生影响。 IBM一直专注于软件领域，随着企业整合人工智能技术，IBM希望通过其 “红帽”（Red Hat）部门从云服务支出的增加中获益。然而，IBM上个月在关键的云软件领域录得增长放缓，这给那些寄希望于大蓝公司能从蓬勃发展的云服务需求中获得更多好处的投资者敲响了警钟。该公司股价今年已上涨超过35%，周二下跌近2%。截至2024年底，IBM雇用了约27万名员工。 IBM发言人称，一些美国员工可能会受到裁员的影响，但预计美国的就业人数将与去年基本持平。

2025-11-05

56

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。