Karpathy回应播客讨论，补充AGI时间表、RL局限、认知核心等观点
https://t.co/i3PdBo6nZJ AK回应：上周我去了 Dwarkesh 的播客，聊得非常开心。我觉得他们提的问题和整个对话质量都很高。
我刚又把这期节目看了一遍。首先，我得承认，我说话实在是太快了，抱歉啦 :)。这对我自己其实没好处，因为有时候我“说话的线程”跑得比“思考的线程”还快（也就是嘴比脑子快）。我觉得有好几个地方我就因为这个没解释清楚。而且我当时还有点紧张，生怕自己扯得太远，或者在一些鸡毛蒜皮的小问题上钻得太深。总之，我在这儿补充几点说明和索引：
AGI（通用人工智能）的时间表。
大家好像对我关于 AGI 时间表的评论最感兴趣。我之前发过一条推文 https://t.co/eTrHzvCYIy 说这将是“智能体的十年（decade of agents）”，我指的就是这个。基本上，我对 AI 时间表的预测，比你在旧金山（SF）AI 圈的派对上、或在推特上刷到的那些预测要“悲观”5到10倍（即需要的时间更长）。但比起那些日益高涨的 AI 否认者和怀疑论调，我这又算是相当乐观的。
这事儿其实不矛盾：在我看来，我们正同时处于两种状态：1) 近几年我们确实见证了大语言模型（LLM）带来的巨大进步；2) 但同时，我们还有如山的工作没做完。这包括很多“脏活累活”（grunt work）、系统集成的工作、连接物理世界的传感器和执行器、社会层面的工作、安全和保障工作（比如‘越狱’（jailbreaks）、‘投毒’（poisoning）攻击等），此外还有很多研究要搞定。在这些都完成之前，我们还造不出一个“在任何工作上都比真人更值得雇佣”的实体。
总的来说，我认为（我预测的）10 年时间表对于 AGI 来说已经是一个非常“激进乐观”（bullish）的预测了。只是因为和现在满天飞的“炒作”（hype）一比，才显得不那么起眼。
动物 vs 幽灵。
我之前写过一篇关于 Sutton 播客的帖子 https://t.co/X2fMCBVshN 。我一直很怀疑，是否存在一个单一、简单的算法，你把它扔到世界上，它就能从零开始学会一切。如果真有人造出了这种东西，那我就是错的，而那也将是 AI 领域最不可思议的突破。
在我看来，动物完全不是这种“从零学习”的例子——它们通过进化，被“预装”（prepackaged）了海量的智能，它们（后天）所做的学习总体上是很少的（比如刚出生的斑马）。戴上我们“工程师的帽子”（意思是从工程实现的角度出发），我们不可能去重新模拟一遍（缓慢的）进化。但是，通过大语言模型（LLM），我们偶然发现了一种替代方案，也能在神经网络里“预装”海量的智能——不是靠进化，而是靠在互联网上“预测下一个词”（predicting the next token）。
这种方法在智能领域催生了一种完全不同的实体。它跟“动物”不一样，它更像是“幽灵”或“灵魂”。但是，随着时间的推移，我们能够（也应该）让它们变得更像“动物”，从某些方面来说，这正是许多前沿工作的意义所在。
关于强化学习（RL）。我已经吐槽过强化学习（Reinforcement Learning, 简称RL）好几次了，比如这条 https://t.co/n6Wi9B8nRm 。首先，你这是在“用吸管吸取监督信号”（sucking supervision through a straw），所以我认为它的“信号/算力”比（signal/flop）（即效率）非常糟糕。强化学习的“噪声”也很大。因为模型完成一次任务（completion）的过程中可能包含很多错误，但只要你（瞎猫碰死耗子）碰巧得到了正确答案，这些错误也会被“鼓励”。
反过来说，（过程中）一些极具洞见的词（tokens）反而可能会被“打击”，就因为你碰巧在后面搞砸了。“过程监督”（Process supervision）和“大语言模型裁判”（LLM judges）这些（替代）方案也有问题。
我认为我们会看到替代性的学习范式。我“长期看好”（long）“智能体式互动”（agentic interaction），但“短期看空”（short）“强化学习” https://t.co/BsQjrukTeZ 。最近我看到好几篇新论文，在我看来，它们正朝着我所说的“系统提示词学习”（system prompt learning） https://t.co/g5x73tuORD 的正确方向发展。
但我认为，从 Arxiv（预印本论文网站）上的点子，到真正在顶尖大语言模型实验室里、能规模化、通用化地落地实现，这中间还有一道鸿沟。总的来说，我非常乐观地认为，我们很快就会在这些“遗留工作”上看到良好进展。举个例子，我甚至会说，像 ChatGPT 的记忆功能等等，就是这种“新学习范式”的、已经被部署了的“原始形态”（primordial examples）。
认知核心（Cognitive core）。
我之前关于“认知核心”的帖子：https://t.co/QPLVzndfV3 ，这个想法是说，我们要给大语言模型“瘦身”（stripping down），让它们更难“背诵”（memorize），甚至主动剥离它们的记忆力，以此让它们更擅长“泛化”（generalization）（即举一反三）。
否则，它们会过度依赖自己背下来的东西。相比之下，人类没法那么轻易地（像电脑一样）背诵，这现在看起来更像是一个“特性”（feature），而不是一个“缺陷”（bug）。也许，“记不住”本身就是一种“正则化”（regularization）（一种防止过拟合（overfitting）的技术）。
另外，我前段时间也发过一个帖子 https://t.co/bd1LT4rT5s ，讨论为什么模型大小的趋势是“倒退的”，以及为什么“模型必须先变大，然后才能变小”。
时空穿越回 1989 年的 Yann LeCun（杨立昆）。这就是我在播客里描述得非常仓促/糟糕的那个帖子：https://t.co/A01VKn5mzF 。
核心思想是——如果你带着（今天）33 年的算法进步知识（穿越回去），你能把 Yann LeCun（深度学习先驱之一）当年的成果提升多少？当年的成果到底是被算法、数据还是算力中的哪一个给限制住了？这就是一个案例研究。
nanochat。我自己从头到尾（end-to-end）实现的 ChatGPT 训练/推理流程（只保留了最核心的要素）https://t.co/ejmKC3G9HM
关于大语言模型智能体（LLM agents）。我对业界的批评，更多在于（他们）“过度设计”了工具（tooling），超出了（模型）现有的能力。
我生活在一个我称之为“中间世界”的状态：我希望与大语言模型“协作”，让我们的优缺点正好互补。而业界（的想象）则活在一个“未来世界”：在那里，完全自主的实体并行协作，写完所有的代码，人类变得毫无用处。
举个例子，我不想要一个 AI 智能体（AI Agent）自己跑去“工作”20分钟，然后甩给我 1000 行代码。我也绝对没准备好去“管理”一个由 10 个这种智能体组成的团队。
我希望（的工作模式是）把任务拆分成我能理解的小块，让大语言模型一边写代码，一边向我解释它在写什么。
我希望它能向我“证明”它做的是对的；我希望它去扒一下 API 文档，然后展示给我看，它用得没错。
我希望它少做点（自以为是的）假设，在不确定的时候主动问我、跟我协作。
我希望在这个过程中我自己也能学习，成为一个更好的程序员，而不是只被（AI）甩一堆“据说能跑”的代码。
我只是觉得，（AI）工具应该对自己的能力、以及如何融入当今行业，有一个更现实的定位。我担心如果这事儿没做好，我们最终会在软件（行业）里堆积如山的“烂代码”（slop），导致漏洞、安全*等等激增 https://t.co/YqWBnHq6w0 。
工作自动化。放射科医生的例子，他们现在（不但没失业）反而过得很好 https://t.co/IFpkQn0qpU ，以及哪些工作更容易被自动化，以及为什么。
物理学。孩子们应该在早期教育中学物理，不是因为他们以后要搞物理，而是因为物理是“启动大脑”（boots up a brain）的最好学科。物理学家是“智力界的胚胎干细胞”（intellectual embryonic stem cell） https://t.co/FKAVlB1pME （指他们可以分化到任何智力领域）。
我有一篇更长的帖子，在我草稿箱里躺了快一年了，希望能尽快写完。
再次感谢 Dwarkesh 邀请我！
我刚又把这期节目看了一遍。首先，我得承认，我说话实在是太快了，抱歉啦 :)。这对我自己其实没好处，因为有时候我“说话的线程”跑得比“思考的线程”还快（也就是嘴比脑子快）。我觉得有好几个地方我就因为这个没解释清楚。而且我当时还有点紧张，生怕自己扯得太远，或者在一些鸡毛蒜皮的小问题上钻得太深。总之，我在这儿补充几点说明和索引：
AGI（通用人工智能）的时间表。
大家好像对我关于 AGI 时间表的评论最感兴趣。我之前发过一条推文 https://t.co/eTrHzvCYIy 说这将是“智能体的十年（decade of agents）”，我指的就是这个。基本上，我对 AI 时间表的预测，比你在旧金山（SF）AI 圈的派对上、或在推特上刷到的那些预测要“悲观”5到10倍（即需要的时间更长）。但比起那些日益高涨的 AI 否认者和怀疑论调，我这又算是相当乐观的。
这事儿其实不矛盾：在我看来，我们正同时处于两种状态：1) 近几年我们确实见证了大语言模型（LLM）带来的巨大进步；2) 但同时，我们还有如山的工作没做完。这包括很多“脏活累活”（grunt work）、系统集成的工作、连接物理世界的传感器和执行器、社会层面的工作、安全和保障工作（比如‘越狱’（jailbreaks）、‘投毒’（poisoning）攻击等），此外还有很多研究要搞定。在这些都完成之前，我们还造不出一个“在任何工作上都比真人更值得雇佣”的实体。
总的来说，我认为（我预测的）10 年时间表对于 AGI 来说已经是一个非常“激进乐观”（bullish）的预测了。只是因为和现在满天飞的“炒作”（hype）一比，才显得不那么起眼。
动物 vs 幽灵。
我之前写过一篇关于 Sutton 播客的帖子 https://t.co/X2fMCBVshN 。我一直很怀疑，是否存在一个单一、简单的算法，你把它扔到世界上，它就能从零开始学会一切。如果真有人造出了这种东西，那我就是错的，而那也将是 AI 领域最不可思议的突破。
在我看来，动物完全不是这种“从零学习”的例子——它们通过进化，被“预装”（prepackaged）了海量的智能，它们（后天）所做的学习总体上是很少的（比如刚出生的斑马）。戴上我们“工程师的帽子”（意思是从工程实现的角度出发），我们不可能去重新模拟一遍（缓慢的）进化。但是，通过大语言模型（LLM），我们偶然发现了一种替代方案，也能在神经网络里“预装”海量的智能——不是靠进化，而是靠在互联网上“预测下一个词”（predicting the next token）。
这种方法在智能领域催生了一种完全不同的实体。它跟“动物”不一样，它更像是“幽灵”或“灵魂”。但是，随着时间的推移，我们能够（也应该）让它们变得更像“动物”，从某些方面来说，这正是许多前沿工作的意义所在。
关于强化学习（RL）。我已经吐槽过强化学习（Reinforcement Learning, 简称RL）好几次了，比如这条 https://t.co/n6Wi9B8nRm 。首先，你这是在“用吸管吸取监督信号”（sucking supervision through a straw），所以我认为它的“信号/算力”比（signal/flop）（即效率）非常糟糕。强化学习的“噪声”也很大。因为模型完成一次任务（completion）的过程中可能包含很多错误，但只要你（瞎猫碰死耗子）碰巧得到了正确答案，这些错误也会被“鼓励”。
反过来说，（过程中）一些极具洞见的词（tokens）反而可能会被“打击”，就因为你碰巧在后面搞砸了。“过程监督”（Process supervision）和“大语言模型裁判”（LLM judges）这些（替代）方案也有问题。
我认为我们会看到替代性的学习范式。我“长期看好”（long）“智能体式互动”（agentic interaction），但“短期看空”（short）“强化学习” https://t.co/BsQjrukTeZ 。最近我看到好几篇新论文，在我看来，它们正朝着我所说的“系统提示词学习”（system prompt learning） https://t.co/g5x73tuORD 的正确方向发展。
但我认为，从 Arxiv（预印本论文网站）上的点子，到真正在顶尖大语言模型实验室里、能规模化、通用化地落地实现，这中间还有一道鸿沟。总的来说，我非常乐观地认为，我们很快就会在这些“遗留工作”上看到良好进展。举个例子，我甚至会说，像 ChatGPT 的记忆功能等等，就是这种“新学习范式”的、已经被部署了的“原始形态”（primordial examples）。
认知核心（Cognitive core）。
我之前关于“认知核心”的帖子：https://t.co/QPLVzndfV3 ，这个想法是说，我们要给大语言模型“瘦身”（stripping down），让它们更难“背诵”（memorize），甚至主动剥离它们的记忆力，以此让它们更擅长“泛化”（generalization）（即举一反三）。
否则，它们会过度依赖自己背下来的东西。相比之下，人类没法那么轻易地（像电脑一样）背诵，这现在看起来更像是一个“特性”（feature），而不是一个“缺陷”（bug）。也许，“记不住”本身就是一种“正则化”（regularization）（一种防止过拟合（overfitting）的技术）。
另外，我前段时间也发过一个帖子 https://t.co/bd1LT4rT5s ，讨论为什么模型大小的趋势是“倒退的”，以及为什么“模型必须先变大，然后才能变小”。
时空穿越回 1989 年的 Yann LeCun（杨立昆）。这就是我在播客里描述得非常仓促/糟糕的那个帖子：https://t.co/A01VKn5mzF 。
核心思想是——如果你带着（今天）33 年的算法进步知识（穿越回去），你能把 Yann LeCun（深度学习先驱之一）当年的成果提升多少？当年的成果到底是被算法、数据还是算力中的哪一个给限制住了？这就是一个案例研究。
nanochat。我自己从头到尾（end-to-end）实现的 ChatGPT 训练/推理流程（只保留了最核心的要素）https://t.co/ejmKC3G9HM
关于大语言模型智能体（LLM agents）。我对业界的批评，更多在于（他们）“过度设计”了工具（tooling），超出了（模型）现有的能力。
我生活在一个我称之为“中间世界”的状态：我希望与大语言模型“协作”，让我们的优缺点正好互补。而业界（的想象）则活在一个“未来世界”：在那里，完全自主的实体并行协作，写完所有的代码，人类变得毫无用处。
举个例子，我不想要一个 AI 智能体（AI Agent）自己跑去“工作”20分钟，然后甩给我 1000 行代码。我也绝对没准备好去“管理”一个由 10 个这种智能体组成的团队。
我希望（的工作模式是）把任务拆分成我能理解的小块，让大语言模型一边写代码，一边向我解释它在写什么。
我希望它能向我“证明”它做的是对的；我希望它去扒一下 API 文档，然后展示给我看，它用得没错。
我希望它少做点（自以为是的）假设，在不确定的时候主动问我、跟我协作。
我希望在这个过程中我自己也能学习，成为一个更好的程序员，而不是只被（AI）甩一堆“据说能跑”的代码。
我只是觉得，（AI）工具应该对自己的能力、以及如何融入当今行业，有一个更现实的定位。我担心如果这事儿没做好，我们最终会在软件（行业）里堆积如山的“烂代码”（slop），导致漏洞、安全*等等激增 https://t.co/YqWBnHq6w0 。
工作自动化。放射科医生的例子，他们现在（不但没失业）反而过得很好 https://t.co/IFpkQn0qpU ，以及哪些工作更容易被自动化，以及为什么。
物理学。孩子们应该在早期教育中学物理，不是因为他们以后要搞物理，而是因为物理是“启动大脑”（boots up a brain）的最好学科。物理学家是“智力界的胚胎干细胞”（intellectual embryonic stem cell） https://t.co/FKAVlB1pME （指他们可以分化到任何智力领域）。
我有一篇更长的帖子，在我草稿箱里躺了快一年了，希望能尽快写完。
再次感谢 Dwarkesh 邀请我！
我很高兴上周参加Dwarkesh的节目，我觉得问题和对话质量都很高。我刚重看了播客。首先，我知道，也抱歉我说话太快:)。这对我自己不利，因为有时我说话的线程比思考的线程执行得更快。