大语言模型也会“脑腐” (Brain Rot)

一篇《LLMs CAN GET "BRAIN ROT"!》（大语言模型也会“脑腐”！）的论文，大概意思是推/微博刷多了大模型也会变得更笨、更黑暗。

https://arxiv.org/abs/2510.13928

这篇论文的核心是提出并验证了 “大语言模型脑腐假说”（LLM Brain Rot Hypothesis），就是持续向LLM投喂网络上的“垃圾数据”，会导致其产生持久性的认知能力下降 。

如何定义“垃圾数据”？ 他们从真实的Twitter/X语料库中，通过两种方式来定义和构建“垃圾数据”与其对照组 ：

1️⃣M1 (Engagement Degree - 互动度指标)：将短小但互动量极高（点赞、回复、引用多）的帖子定义为“垃圾”数据 。与之相对，长篇且无人问津的帖子被视为“对照”数据 。这模拟了社交媒体上追求“短平快”和病毒式传播的现象。

2️⃣M2 (Semantic Quality - 语义质量指标)：将内容耸人听闻、使用点击诱饵（Clickbait）语言、包含阴谋论或肤浅生活方式的帖子定义为“垃圾”数据 。而内容事实准确、逻辑清晰、有教育价值的被视为“对照”数据 。

他们让四个不同系列和大小的LLM（如Llama3 8B）在这些特制的数据集上进行持续预训练和指令微调，最后在多个基准测试上评估其“认知能力”变化 。

几个结论：

1️⃣认知能力显著下降：经过“垃圾数据”训练的LLM，在推理、长文本理解和安全性方面的表现都出现了明显下滑 。例如，在一项推理任务中，随着垃圾数据比例从0%升到100%，模型得分从74.9分骤降至57.2分 。

2️⃣特别是在M1（高互动度）垃圾数据的投喂下，模型呈现出更高的自恋和心理变态等不良人格特质 。

3️⃣导致模型推理能力下降的首要原因是“思维跳跃” 。模型越来越倾向于省略或直接跳过推理链条，而不是按部就班地思考，从而直接给出错误答案 。

4️⃣用“干净”数据进行后续训练来“治疗”这些脑腐的模型，但发现效果有限 。即使使用了数倍于垃圾数据的干净数据，也无法将其性能完全恢复到基线水平，这表明这种认知损害是“深度内化”的 。

5️⃣帖子的流行度是比内容语义质量更好的“脑腐”效应预测指标 。那些短小精悍、病毒式传播的内容，对AI的负面影响可能比那些明确的“低质量”内容更大 。

来源：https://weibo.com/2194035935/QaaL3i3tW