LeCun:自回归LLM不会通向人类水平AI,推理/自改进/多模态仍存根本局限
我说过"自回归 LLM 本身不会通向人类水平的 AI"。这一论断依然完全成立。
第一,当前 AI 系统的推理能力建立在非自回归的搜索之上(这正是我一直主张的方向)。但据我所知,它们是在 token 空间里做这种搜索,而 token 空间既有限又低效。我一直认为,类人推理必须是在连续表示空间中的搜索。看起来业界正在朝这个方向走。
第二,当前实践中的自我改进方法,只在那些输出质量无需人工干预即可评分的领域有效,比如数学、代码,以及可以被精确模拟的场景。其他领域则不行。人类和动物学习新技能的效率远高于当前的 RL 方法。
第三,当前 AI 助手的多模态能力通常使用单独训练的编码器(它们不是 LLM)。这也正是我一直主张的做法。只不过我认为最好的方式是使用经自监督学习训练的 JEPA。研究界显然正在朝这个方向前进(仅 4 年就有 3000 篇关于 JEPA 的论文)。
第四,如果 LLM 是通向人类水平 AI 的路径,那我们现在就应该有家用机器人和面向消费者的 L4 或 L5 自动驾驶汽车了。但我们没有。我们当然也没有那种能在 20 小时内学会开车、像任何青少年一样练习的车。要声称达到人类水平智能(更不用说超人类),我们还缺着相当关键的东西。
当然,我们现在确实有了令人印象深刻、非常有用、并且在越来越多领域(编程就是其中之一)表现超越人类的计算机系统。但这在计算机技术的整个进步史中一直如此。
最后,人们对智能究竟是什么存在根本性的混淆。它不是对既有陈述性知识的单纯积累和复述(而这本质上就是 LLM 在做的事)。正如 Jean Piaget 的名言:"智能不在于你知道什么,而在于当你不知道时你会怎么做。"它指的是你在没有任何先验训练的情况下解决新问题、在从未见过的场景中行动,并以最少训练快速适应新情境的能力。
我们离这一点还很远。
第一,当前 AI 系统的推理能力建立在非自回归的搜索之上(这正是我一直主张的方向)。但据我所知,它们是在 token 空间里做这种搜索,而 token 空间既有限又低效。我一直认为,类人推理必须是在连续表示空间中的搜索。看起来业界正在朝这个方向走。
第二,当前实践中的自我改进方法,只在那些输出质量无需人工干预即可评分的领域有效,比如数学、代码,以及可以被精确模拟的场景。其他领域则不行。人类和动物学习新技能的效率远高于当前的 RL 方法。
第三,当前 AI 助手的多模态能力通常使用单独训练的编码器(它们不是 LLM)。这也正是我一直主张的做法。只不过我认为最好的方式是使用经自监督学习训练的 JEPA。研究界显然正在朝这个方向前进(仅 4 年就有 3000 篇关于 JEPA 的论文)。
第四,如果 LLM 是通向人类水平 AI 的路径,那我们现在就应该有家用机器人和面向消费者的 L4 或 L5 自动驾驶汽车了。但我们没有。我们当然也没有那种能在 20 小时内学会开车、像任何青少年一样练习的车。要声称达到人类水平智能(更不用说超人类),我们还缺着相当关键的东西。
当然,我们现在确实有了令人印象深刻、非常有用、并且在越来越多领域(编程就是其中之一)表现超越人类的计算机系统。但这在计算机技术的整个进步史中一直如此。
最后,人们对智能究竟是什么存在根本性的混淆。它不是对既有陈述性知识的单纯积累和复述(而这本质上就是 LLM 在做的事)。正如 Jean Piaget 的名言:"智能不在于你知道什么,而在于当你不知道时你会怎么做。"它指的是你在没有任何先验训练的情况下解决新问题、在从未见过的场景中行动,并以最少训练快速适应新情境的能力。
我们离这一点还很远。