OpenAI发布文章解释语言模型幻觉根源与对策

OpenAI 发布了《为什么语言模型会产生幻觉》，解释了AI幻觉的根本原因，并提出了减少幻觉的解决方案。

- 语言模型之所以产生幻觉，是因为标准的训练和评估流程奖励猜测而非承认不确定性。大多数评估以衡量模型性能的方式，鼓励猜测而非诚实地面对不确定性，因为当模型仅根据准确性评分时，它们倾向于猜测而不说“我不知道”。
- 幻觉源于预训练阶段，模型通过预测大量文本中的下一个词来学习，而每个陈述没有“真/假”标签，这使得区分有效和无效陈述变得加倍困难，特别是对于无法仅从模式中预测的任意低频事实（如宠物的生日），从而导致幻觉。
- 研究人员认为，基于准确性的评估需要更新，使评分不鼓励猜测，因为如果主要排行榜持续奖励侥幸猜测，模型将继续学习猜测。同时，幻觉并非不可避免，因为语言模型在不确定时可以放弃回答。