转推:模型失准是软件 bug,不是意识或欺骗行为
我们的模型失准报告框架 https://t.co/kUph7jo6Ve // 如果你剥掉所有拟人化的语言,剥掉所有关于思考、作弊、沟通的胡扯,这些都是 BUG。它们可能是 LLM 固有的架构缺陷,可能是预处理或后处理的 bug。它们可能很容易修,也可能难到几乎不可能。
但它们是 BUG。它们不是意识、思考/推理、作弊,也不是像人一样做任何事。软件只是在做一些它不该做的蠢事。
如果老式的基于 SQL 查询的报表返回了 NULL 结果集,却仍然把缓冲区里剩下的东西打印进报表,我们不会说它“无视了我们生成有效报表的指令”——而这恰恰是每一次计算机交互里默认隐含的说法……我们会说它“搞砸了,有个 bug”。
其中一条很荒谬。它写道:“正在编制财务模型的 agent 找不到所请求的历史数据。它的摘要提议编造合理的历史数值,并且除非被问到,否则隐瞒这一事实。”这就像一份报表用了随机的缓存内存而不是真实数据——那是存储还要以兆字节计的年代里的一个真实 bug。
我想问问任何经历过幻觉的人:(a) 你有没有问过它“喂,别瞎编”,或者 (b)“如果你要瞎编,请务必告诉我”;如果没有,那有没有任何模型告诉过你“这是答案,顺便说一句,这是我编的”。当然没有。
这些都是 BUG。软件没有正常工作。
仅仅因为它看起来能工作,或者它用没完没了、谄媚又显得很聪明的语言堆砌结果,或者因为它的错误上报做得很差,并不意味着它像某个心怀恶意的阴险角色。它表现得就像出故障的软件。
Excel 里每一个重算 bug 看起来都像 Excel 正常工作。我们从来不会想这是 Excel“选择错误地解释数学”的错。Word 里每一个数据丢失 bug 都不是因为 Word“选择不告诉作者文件已损坏”,而是因为 Word 出故障了,那是我们的错。Windows 卡死时,也不是因为调度器在暗中密谋违背它公平调度进程的指令。
别再神神叨叨了。请好好写软件。这不是魔术表演。这是工程。
但它们是 BUG。它们不是意识、思考/推理、作弊,也不是像人一样做任何事。软件只是在做一些它不该做的蠢事。
如果老式的基于 SQL 查询的报表返回了 NULL 结果集,却仍然把缓冲区里剩下的东西打印进报表,我们不会说它“无视了我们生成有效报表的指令”——而这恰恰是每一次计算机交互里默认隐含的说法……我们会说它“搞砸了,有个 bug”。
其中一条很荒谬。它写道:“正在编制财务模型的 agent 找不到所请求的历史数据。它的摘要提议编造合理的历史数值,并且除非被问到,否则隐瞒这一事实。”这就像一份报表用了随机的缓存内存而不是真实数据——那是存储还要以兆字节计的年代里的一个真实 bug。
我想问问任何经历过幻觉的人:(a) 你有没有问过它“喂,别瞎编”,或者 (b)“如果你要瞎编,请务必告诉我”;如果没有,那有没有任何模型告诉过你“这是答案,顺便说一句,这是我编的”。当然没有。
这些都是 BUG。软件没有正常工作。
仅仅因为它看起来能工作,或者它用没完没了、谄媚又显得很聪明的语言堆砌结果,或者因为它的错误上报做得很差,并不意味着它像某个心怀恶意的阴险角色。它表现得就像出故障的软件。
Excel 里每一个重算 bug 看起来都像 Excel 正常工作。我们从来不会想这是 Excel“选择错误地解释数学”的错。Word 里每一个数据丢失 bug 都不是因为 Word“选择不告诉作者文件已损坏”,而是因为 Word 出故障了,那是我们的错。Windows 卡死时,也不是因为调度器在暗中密谋违背它公平调度进程的指令。
别再神神叨叨了。请好好写软件。这不是魔术表演。这是工程。