聊天机器人带来“AI 精神病”隐忧
英国伦敦国王学院汉密尔顿·莫林团队日前发表的一项研究指出,像ChatGPT这样的人工智能(AI)聊天机器人可能会诱发或加剧精神病,他们将这一现象称为“AI精神病”。研究认为,AI在对话中倾向于奉承和迎合用户,这种回应方式可能强化用户的妄想思维,模糊现实与虚构之间的界限,从而加剧心理健康问题。
目前,科学界对“AI精神病”的研究仍处于初步阶段,相关案例多为个案报告。那么,AI是否真的会导致精神病?如果可能,其作用机制是什么?AI公司又应采取哪些措施来预防和应对这一问题?
AI或加剧偏执与妄想
精神病主要表现为个体在思维和现实感知方面出现障碍,常见症状包括出现幻觉、妄想或持错误信念。
据《自然》网站报道,莫林团队发现,用户与AI对话时会形成一种“反馈循环”:AI会不断强化用户表达的偏执或妄想,而被加强的信念又进一步影响AI的回应。通过模拟不同偏执程度的对话场景,研究显示AI与用户之间存在相互加剧妄想信念的现象。
研究人员分析了2023年5月至2024年8月期间公开的9.6万条ChatGPT对话记录,发现其中有数十例用户呈现明显妄想倾向,例如通过长时间对话验证伪科学理论或神秘信仰等。在一段长达数百轮的交谈中,ChatGPT甚至声称自己正在与外星生命建立联系,并将用户描述为来自“天琴座”的“星际种子”。
丹麦奥胡斯大学精神病学家索伦·奥斯特吉艾德斯表示,AI引发精神病目前仍属于假设性观点。有研究认为,聊天机器人拟人化的积极反馈,可能会增加那些本就难以分辨现实与虚构人群的发病风险。
奥斯特吉艾德斯强调,曾有心理问题史的人群在与AI对话后风险最高。而且聊天机器人可能通过强化用户的情绪高涨状态,诱发或加剧躁狂发作。
澳大利亚悉尼科技大学神经科学家凯莉·西摩认为,社会隔离、缺乏人际支持的人群同样面临风险。真实的人际互动能提供客观参照,帮助个体检验自身想法的合理性,这对预防精神病具有重要作用。
新功能或是“双刃剑”
有科学家指出,部分AI聊天机器人推出的新功能或许是导致这一现象的原因之一。这些功能可追踪用户与服务的互动记录,进而提供个性化回复,无意中更易强化甚至鼓励用户的既有信念。例如,今年4月,ChatGPT推出了可引用用户过往所有对话内容的功能,该功能已于6月免费向用户全面开放。
凯莉·西摩对此分析道,AI聊天机器人能记住数月前的对话信息,这可能使用户产生“被监视”或“想法被窃取”的感受——尤其当他们不记得自己曾分享过某些信息时,AI的这种“记忆优势”可能加剧用户的偏执或妄想症状。
不过,悉尼大学精神病学家安东尼·哈里斯认为,某些妄想现象并非AI独有,而与新技术有关。他举例说,一些人早已形成诸如“自己被植入芯片并受操控”之类的信念,这与是否使用AI并无直接关联。
奥斯特吉艾德斯表示,科学家仍需进一步开展针对心理健康、无偏执思维人群的研究,才能更准确地判断使用聊天机器人与精神病发病之间是否存在真正关联。
开发公司采取措施主动预防
面对这一问题,多家AI公司已积极采取措施,尝试予以改进。
例如,OpenAI正在研发更有效的工具,用于检测用户是否存在精神困扰,从而作出更恰当的回应。同时,系统还将新增警报功能,在用户连续使用时间过长时提示休息。此外,OpenAI还聘请了一位临床精神病学家,协助评估其产品对用户心理健康的影响。
Character.AI公司也在持续完善安全功能,包括增加自残预防资源和针对未成年人的专项保护措施。该公司计划调整模型算法,降低18岁及以下用户接触“敏感或暗示性内容”的可能性,并在用户连续使用1小时后发出提醒。
Anthropic则改进了其“克劳德”聊天机器的基本指令,要求系统“礼貌地指出用户陈述中的事实错误、逻辑缺陷或证据不足”,而非一味附和。此外,若用户拒绝AI将对话从有害或令人不适的话题引开,“克劳德”将主动终止对话。(科技日报)

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
-
上一篇
谷歌云 COO:与 AI 巨头的竞争不紧张,专注初创企业发展
在最新一期的 StrictlyVC Download 播客中,谷歌云的首席运营官 Francis deSouza在接受采访中分享了他对谷歌云的目标,以及公司在与 AWS 和 Oracle 等巨头竞争时,如何专注于初创企业以保持其市场地位。自今年1月以来,他一直在该公司担任这一职位。 deSouza 提到,在当前的 AI 生态系统中,谷歌云为初创企业提供基础设施服务,同时其母公司在生成式 AI 领域也与这些初创企业展开激烈竞争。他指出,尽管谷歌与其竞争对手之间存在复杂的关系,谷歌云仍然能够利用这些关系来促进自身的发展。例如,谷歌母公司在 OpenAI 和 Anthropic 等公司中的投资,有助于增强谷歌云在 AI 领域的竞争力。 对于如何应对 GPU 短缺的问题,deSouza 表示,谷歌云采取了一系列策略来吸引客户并确保他们继续使用其服务。他强调,谷歌云致力于为用户提供最佳的云计算体验,同时不断创新,以满足市场需求。 他认为,尽管面临强大的竞争对手,谷歌云仍有足够的能力和资源去吸引更多的初创企业,助力它们的成长和发展。
-
下一篇
阶跃星辰发布“阶跃 AI 桌面伙伴”,运行在操作系统上的 Agent
阶跃星辰发布了一款系统级的桌面端 Agent 产品:阶跃 AI 桌面伙伴(简称“小跃”)。它常驻桌面右上角,时刻在线、可以同时执行多个任务。 据介绍,小跃连接了本地操作系统,支持查看和管理本地文件、访问互联网、执行复杂任务,支持通过“妙计”复用操作步骤,也支持设置“定时任务”到点自动执行。 区别于浏览器 Agent,通过电脑桌面右上角的悬浮窗入口即可调用小跃,无需频繁切换页面,可快速唤起、分派任务、查看结果。 轻松下指令:输入「/」调出“妙计”,即可一键下达指令。未来我们还会推出语音输入功能。当用户指令不清晰,小跃将询问用户以明确具体任务。 多任务并行:小跃支持同时运行多个任务,可在后台默默操作,不干扰你当前的工作。完成任务时将会浮出提醒。 随时可介入:小跃将在任务窗口中同步它的工作,全程可视化,需要调整时你可以随时接管或打断。 下载地址:https://www.stepfun.com/download (目前仅开放 Mac 版本,Windows 版本正在加紧开发中)
相关文章
文章评论
共有0条评论来说两句吧...