联网能力,让 LLM Chat 成为轻易突破的入侵入口
https://x.com/Kinsgar_L/status/1802605685580144915 大模型生成内容,这个“生态”里,接下来必定会发生世界级安全事故,就看具体类型是普通人轻易中招导致重大损失,还是技术人大意中招,又或者是大模型应用的 WorkFlow 上自动化中中招了。 这断言基于 4 个核心要点: 1、当前大模型生成内容的无法一眼/亿眼丁真性,并且短期内还是无解的。 2、大模型训练语料的清洗问题。对于内容准确性还无法做到多么牛皮。 3、【特别是 AI Chat 联网能力,带来了严重的隐患,这搜索引擎相当于一个轻易突破的入侵入口】。 4、生成内容没有评论交互环境。这是与传统内容生成产品(UGC、PGC)最大的,但又是完全不必要的区别点。 假如大模型直接返回了这种命令,阁下又该如何应对? 已经实测过,在网站发布了内容,被搜索引擎抓去,可以【快速地】进入大模型生成内容里。当然被索引进来生成的权重问题是另一个研究话题了。就算 Gemini 有核验功能,也只能索源,增加了一点置信度而已,但本质问题还存在。 www.oschina.net 这个 WizMap 的页面信息我看它是上...
