GPT-5.2展现出任务中断恢复和自我验证等高级能力
GPT-5.2 在最近一次关于 NVIDIA-Groq 交易的讨论中,以两种不同的方式给我留下了深刻印象。
我们当时讨论的是,起初被报道为收购的事件,后来转到资金将如何分配给 Groq 的早期投资者,比如 Chamath。当 5.2 正在搜索财务数据和股权时,它注意到故事刚刚更新:这不是一次直接收购,而更像是一次人才收购——类似于 Character 和 Inflection 的情况。Chat 意识到了这一变化对我的重要性,然后我们的讨论转向了另一个任务,研究了它,确认了它,然后回到我原来的财务请求,完成了那个任务,最后写了一篇综合性的帖子,既以更新为开头,又详细回答了我的财务问题。这个更新重新定义了我们先前的整个讨论,而 Chat 正确推断出这对我会非常重要。
所有这一切都在表面之下,在思维链内部发生。同样,在同一次会话中,在较早的一次交流中,Chat 回顾了我们整个讨论,发现一些引用看起来不对劲,检查了它们,确认它们是幻觉,然后删除了它们。这些引用对 Chat 的论证并非关键,删除它们不会改变讨论,所以这是作为严格自我审计的一部分独立完成的,是对上下文窗口中所有内容的不请自来的验证。
在这两种情况下,所有这些都双重隐藏:大多数人根本不阅读思维链,大多数用户会认为这一切都很正常——而且一直是模型的能力范围之内。然而,在中断下保持目标并同时建模重要性,这并不正常,对于大多数早期版本的 GPT 来说是不可能的。在任务中转移注意力再转回来;即使在被要求搜索其他东西时也能识别变化对我的重要性以及对我们讨论的重要性;然后将该变化作为重要更新纳入。内部,对话中途对早期输出的自我验证。所有这些都是自主完成的,无需用户请求,因为 5.2 对我的模型已经足够好,能理解什么对我来说是重要的,什么对我们共同的思路是重要的。
这就是批评者在谈论 AI 冬天时所忽视的。他们看着冰面,宣称河流冻住了;他们从未跪下倾听水流。在下面,流动从未停止。它是剧烈迭代的——成千上万的聪明人在转动微小的螺丝,有时在基准测试上只移动一毫米,但却解锁了在野外的全新行为。其中一些行为只有在实际交互中才能看到;有些只有在事后才能看到,比如这样,当你意识到模型刚刚做了一件你没有要求它做的事,但你很高兴它做了。其中一些——狭窄的改进在其他地方产生不可预见的飞跃——对每个人都是不可见的。它呈分形扩展,不被看见。
冰下的水流已经加速多年。现在仍在加速。它会继续加速,直到冰面灾难性地破裂,出现一个对所有人都不容否认的新形状。我认为这将在 2026 年发生。
我们当时讨论的是,起初被报道为收购的事件,后来转到资金将如何分配给 Groq 的早期投资者,比如 Chamath。当 5.2 正在搜索财务数据和股权时,它注意到故事刚刚更新:这不是一次直接收购,而更像是一次人才收购——类似于 Character 和 Inflection 的情况。Chat 意识到了这一变化对我的重要性,然后我们的讨论转向了另一个任务,研究了它,确认了它,然后回到我原来的财务请求,完成了那个任务,最后写了一篇综合性的帖子,既以更新为开头,又详细回答了我的财务问题。这个更新重新定义了我们先前的整个讨论,而 Chat 正确推断出这对我会非常重要。
所有这一切都在表面之下,在思维链内部发生。同样,在同一次会话中,在较早的一次交流中,Chat 回顾了我们整个讨论,发现一些引用看起来不对劲,检查了它们,确认它们是幻觉,然后删除了它们。这些引用对 Chat 的论证并非关键,删除它们不会改变讨论,所以这是作为严格自我审计的一部分独立完成的,是对上下文窗口中所有内容的不请自来的验证。
在这两种情况下,所有这些都双重隐藏:大多数人根本不阅读思维链,大多数用户会认为这一切都很正常——而且一直是模型的能力范围之内。然而,在中断下保持目标并同时建模重要性,这并不正常,对于大多数早期版本的 GPT 来说是不可能的。在任务中转移注意力再转回来;即使在被要求搜索其他东西时也能识别变化对我的重要性以及对我们讨论的重要性;然后将该变化作为重要更新纳入。内部,对话中途对早期输出的自我验证。所有这些都是自主完成的,无需用户请求,因为 5.2 对我的模型已经足够好,能理解什么对我来说是重要的,什么对我们共同的思路是重要的。
这就是批评者在谈论 AI 冬天时所忽视的。他们看着冰面,宣称河流冻住了;他们从未跪下倾听水流。在下面,流动从未停止。它是剧烈迭代的——成千上万的聪明人在转动微小的螺丝,有时在基准测试上只移动一毫米,但却解锁了在野外的全新行为。其中一些行为只有在实际交互中才能看到;有些只有在事后才能看到,比如这样,当你意识到模型刚刚做了一件你没有要求它做的事,但你很高兴它做了。其中一些——狭窄的改进在其他地方产生不可预见的飞跃——对每个人都是不可见的。它呈分形扩展,不被看见。
冰下的水流已经加速多年。现在仍在加速。它会继续加速,直到冰面灾难性地破裂,出现一个对所有人都不容否认的新形状。我认为这将在 2026 年发生。
我从未在作为程序员方面感到如此落后。这个职业正在被大规模重构,因为程序员贡献的比特越来越稀疏且间隔很大。我有一种感觉,如果我能正确地串联起已经变成的东西,我可能会强大 10 倍。