听起来合理的幻觉才是真正的危险,而且最难发现,因为答案看起来没有任何问题。我在数据侧做这方面的工作,给模型喂预验证过的事实,这样它们就不用去猜了,但那只在你掌控数据源的时候才有效。对于其他所有情况,像这样的验证层才是正确的方向。诚实的“找不到来源,这是置信度”行为才是赢得信任的关键。让模型自己检查自己,只会消耗额度,然后生成另一段自信满满的段落,就像 Luke 说的。有一个关于实时模式的问题:每条回答都实时验证听起来很好,但延迟和查找成本也很高。你们会让用户限定到某些对话或声明类型吗?这样就不会每条随手消息都跑验证了。
我是 Mark,Verol 的开发者。
我做这个工具是因为我厌倦了手动把 AI 的回答一句一句复制粘贴到 Google 里,去验证它们是不是真的。刚开始几天还行,但很快就让人崩溃,而且一半的结果我依然不敢信。
Verol 的做法是直接叠加在你已经用的 AI 聊天工具上面。与其问模型“你确定吗?”(这通常只会触发另一段自信满满的幻觉回答),Verol 会把每条声明拆出来,通过一个独立的后端 pipeline 去做实时网页检索。
目前支持 ChatGPT、Claude 和 Gemini,后续还会增加更多。你会得到一个清晰的信任分数、每条声明的判定结果,以及可点击的真实来源链接。而且,你的验证历史永远不会离开你的浏览器——完全本地保存。
出于好奇,我还做了一个小基准测试(3 个模型各 100 条相同 prompt),看看它们的表现。这不是正式的科学研究,但图表放在展示区了,如果你想看看那些听起来很有信心的回答在实时来源核查下有多容易翻车。
免费版提供 5 次验证,你可以用自己的工作流试试。非常期待你的真实反馈,尤其是如果你依赖 LLM 做研究、写代码,或者任何一次微小的幻觉就能毁掉你一整天的事情。
我会一整天在这里回答问题。感谢你的关注!🙏
恭喜发布!