介绍LeCun团队新论文，解决世界模型训练崩溃问题。

刚读了LeCun的最新论文。他的团队训练了第一个不会崩溃的世界模型。\n\n让我解释一下为什么这很重要。\n\n这个模型叫做LeWorldModel。\n\n世界模型预测接下来物理上会发生什么。物体移动、下落、碰撞。\n\n这是机器人规划、汽车先模拟再转向、任何在现实中行动而不仅仅是空谈的AI的基础层。\n\n问题在于没人能可靠地训练这些模型。\n\n模型一直在作弊。它们会把每个输入映射到同一个输出。就像一个永远显示“晴天”的天气应用。技术上是在预测，但完全没用。\n\n所以团队们堆积了各种修复措施：冻结编码器、停止梯度技巧、6个以上的损失超参数。一个脆弱得无法投入生产的堆栈。\n\n这个团队问了一个不同的问题。如果你让崩溃在数学上不可能发生呢？\n\n一个编码器将每个视频帧转换为一个小向量。一个预测器接收该向量加上一个动作，并猜测下一个向量。\n\n第一个损失：猜测的错误程度。\n\n第二个损失：一个称为SIGReg的正则化器，检查向量是否像钟形曲线一样分布。如果它们开始看起来一样，损失就会飙升。\n\n模型无法作弊，因为数学不允许。\n\n这种简单性使得结果成为可能。\n\n六个超参数变成了一个。1500万个参数。在一张GPU上几小时内训练完成。规划速度快48倍。编码时使用的token减少约200倍。\n\n开源。我可以在自己的硬件上运行。\n\n这改变了谁能构建物理AI。不再只是大型实验室。任何团队、任何初创公司、任何研究生都可以。\n\nLeCun一直推动JEPA作为前进的道路。批评始终是训练不稳定性。这篇论文消除了这个反对意见。\n\n现在AI中有两个方向在竞争。更大的LLM和更多的计算。或者从原始像素学习物理的小模型。