OpenAI 新的推理模型幻觉更严重

OpenAI 近日推出的 o3/o4-mini 虽然在多方面有了不小的进步，然而新模型在「幻觉」内容（虚构的内容）方面，相较于旧模型会产生更多。

在近期发布的 o3 和 o4-mini 模型的系统卡（技术报告）中，OpenAI 承认这些模型出现了比其前代模型更频繁的「幻觉」（编造不实信息）现象。

在一项衡量模型对人物知识准确性的基准测试中，o3 的幻觉率达到 33%，接近前代模型 o1 和 o3-mini 的两倍；而 o4-mini 的表现更差，幻觉率达 48%。

OpenAI 承认目前尚不完全清楚为何，并指出这可能与模型做出更多宏观陈述有关。第三方研究也印证了这一问题，包括发现 o3 有时会编造实际上无法执行的中间步骤，或者生成无效链接。

据 OpenAI 的内部测试，o3 和 o4-mini 两款新模型比 OpenAI 此前的推理模型（o1、o1-mini、o3-mini）以及传统的「非推理」模型，都更容易产生幻觉。报道还表示，更令人担忧的是连 ChatGPT 的开发人员都不知道为何会这样：

OpenAI 在 o3/o4-mini 的技术报告中表示，需要更多的研究内容来了解「为什么随着推理模型的发展，反而幻觉情况反而更糟糕」这一问题。报道指出，尽管 o3/o4-mini 在编程和数学等方面优于以往的模型，但由于模型输出的答案总量增加，导致其会给出更多准确的判断，同时也不可避免地出现更多错误的内容甚至是「幻觉」。

在 OpenAI 设计的内部基准测试 PersonQA（用于衡量模型对知识准确性的基准测试）中，o3 出现幻觉的比例达到 33%，约是前代推理模型 o1（16%）和 o3-mini（14.8%）的两倍。在同一基准测试中，o4-mini 的表现更差，幻觉率高达 48%。

另据第三方机构 Transluce 的测试，o3 在回答问题时经常会编造出某些「过程操作」。据一次测试显示，o3 声称自己在一台 2021 款 MacBook Pro 上通过「ChatGPT 之外」的方式运行了生成的代码，并将结果复制到答案中。但事实上，o3 只是拥有一部分工具的访问权，但并不具备执行操作的能力。

另据斯坦福大学兼职教授 Kian Katanforoosh 告诉 TechCrunch，其团队测试 o3 的编程能力时发现，o3 经常会援引错误的网站链接，提供的网站实际上是不存在的。

报道指出，提高模型准确性的一种办法即是「联网搜索」，OpenAI 的 GPT-4o 便是依靠联网搜索能力在 SimpleQA 中获得 90% 的准确率。

目前，OpenAI 发言人 Niko Felix 回应表示：「解决幻觉问题是我们一直在推进的重点研究方向，OpenAI 也在不断努力提升模型的准确性与可靠性。」