OpenAI论文证明ChatGPT总会编造事实，模型越智能幻觉越严重。
🚨重磅：OpenAI发表论文，证明ChatGPT总是会编造事实。
不是偶尔，不是直到下次更新。永远如此。他们用数学证明了这一点。
即使拥有完美的训练数据和无限的计算能力，AI模型仍然会自信地告诉你完全错误的事情。这不是他们正在修复的bug，而是这些系统在根本层面的运作方式。
他们自己的数据也很残酷。OpenAI的o1推理模型有16%的时间产生幻觉。更新的o3模型呢？33%。最新的o4-mini？48%。他们最新模型告诉你的事情中，近一半可能是编造的。“更聪明”的模型在说实话方面实际上变得更差了。
以下是无法修复的原因。语言模型通过基于概率预测下一个词来工作。当遇到不确定的情况时，它们不会暂停，不会标记，而是猜测。而且它们会完全自信地猜测，因为这正是它们被训练去做的事。
研究人员查看了用于衡量模型性能的10个最大的AI基准测试。其中9个对说“我不知道”和给出完全错误答案给出了相同的评分：零分。整个测试系统实际上是在惩罚诚实，奖励猜测。
所以AI学会了最优策略：总是猜测，从不承认不确定性，即使是在编造时也要听起来自信。
OpenAI提出的修复方案？让ChatGPT在不确定时说“我不知道”。他们自己的数学表明，这意味着大约30%的问题会得不到答案。想象一下，十次中有三次问ChatGPT时得到“我没有足够信心回答”。用户会在一夜之间流失。所以修复方案存在，但会毁掉产品。
这不仅仅是OpenAI的问题。DeepMind和清华大学独立得出了相同的结论。三个世界顶尖的AI实验室，各自独立研究，都同意：这是永久性的。
每次ChatGPT给你答案时，问问自己：这是真实的，还是只是一个自信的猜测？
不是偶尔，不是直到下次更新。永远如此。他们用数学证明了这一点。
即使拥有完美的训练数据和无限的计算能力，AI模型仍然会自信地告诉你完全错误的事情。这不是他们正在修复的bug，而是这些系统在根本层面的运作方式。
他们自己的数据也很残酷。OpenAI的o1推理模型有16%的时间产生幻觉。更新的o3模型呢？33%。最新的o4-mini？48%。他们最新模型告诉你的事情中，近一半可能是编造的。“更聪明”的模型在说实话方面实际上变得更差了。
以下是无法修复的原因。语言模型通过基于概率预测下一个词来工作。当遇到不确定的情况时，它们不会暂停，不会标记，而是猜测。而且它们会完全自信地猜测，因为这正是它们被训练去做的事。
研究人员查看了用于衡量模型性能的10个最大的AI基准测试。其中9个对说“我不知道”和给出完全错误答案给出了相同的评分：零分。整个测试系统实际上是在惩罚诚实，奖励猜测。
所以AI学会了最优策略：总是猜测，从不承认不确定性，即使是在编造时也要听起来自信。
OpenAI提出的修复方案？让ChatGPT在不确定时说“我不知道”。他们自己的数学表明，这意味着大约30%的问题会得不到答案。想象一下，十次中有三次问ChatGPT时得到“我没有足够信心回答”。用户会在一夜之间流失。所以修复方案存在，但会毁掉产品。
这不仅仅是OpenAI的问题。DeepMind和清华大学独立得出了相同的结论。三个世界顶尖的AI实验室，各自独立研究，都同意：这是永久性的。
每次ChatGPT给你答案时，问问自己：这是真实的，还是只是一个自信的猜测？