LeCun离职Meta后发布高效世界模型,降低成本结构
今年早些时候,Yann LeCun离开Meta,因为马克·扎克伯格不愿押注JEPA。上周,他的团队发布了第一个从原始像素端到端训练的JEPA。1500万个参数。单GPU。几小时。
这个时机绝非巧合。
四年来,Meta一直是JEPA的堡垒。LeCun于2022年从FAIR发表了原始论文。I-JEPA和V-JEPA出自他的实验室。该架构本应是逃离LLM的出口,是通往真正学习物理而非幻觉的机器人的路径。每个版本发布时都很脆弱。停止梯度。指数移动平均。冻结的预训练编码器。需要手动调整的六七个损失项,否则模型会崩溃成垃圾表示。
Meta持续资助LLM。Llama发布。Llama扩展。Llama被Qwen和DeepSeek超越。扎克伯格斥资140亿美元收购ScaleAI并安置Alexandr Wang。FAIR机器人团队被解散。LeCun的研究不断赢得论文却输掉产品路线图。
他离职,创办AMI Labs,并公开表示LLM是死路。
现在这篇论文。LeWorldModel。一个正则化器取代了整个启发式堆栈。将潜在嵌入投影到随机方向,运行正态性检验,惩罚偏离高斯分布。模型无法崩溃,因为崩溃的嵌入在构造上会失败检验。超参数搜索从O(n^6)多项式降至O(log n)对数。六个可调旋钮变为一个。
下游数字应该让机器人资本支出阶级感到恐惧。每个观测的token数比DINO-WM少200倍。规划时间从每周期47秒降至0.98秒。在Push-T和3D立方体控制上匹配或超越基础模型性能,速度快48倍。潜在空间清晰地探测到智能体位置、块速度、末端执行器姿态。它正确地将物理上不可能的事件标记为令人惊讶。它学习了物理,却从未被告知物理存在。
Figure AI估值390亿美元。特斯拉Optimus大规模生产。World Labs筹集2.3亿美元销售生成式世界模型。每个人形机器人公司都在烧资本用于每周期规划47秒的基础模型管道。
LeCun的团队刚刚展示了你可以用1500万个参数在单GPU上几小时内完成。
这是施乐PARC模式再次上演。Meta拥有下一个架构。Meta拥有这位科学家。Meta解散了机器人团队,放弃了产品化,看着退出。三个月后,本应是Meta的实验室发表了重置机器人成本结构的结果。
这篇论文比Alexandr Wang更有价值。
这个时机绝非巧合。
四年来,Meta一直是JEPA的堡垒。LeCun于2022年从FAIR发表了原始论文。I-JEPA和V-JEPA出自他的实验室。该架构本应是逃离LLM的出口,是通往真正学习物理而非幻觉的机器人的路径。每个版本发布时都很脆弱。停止梯度。指数移动平均。冻结的预训练编码器。需要手动调整的六七个损失项,否则模型会崩溃成垃圾表示。
Meta持续资助LLM。Llama发布。Llama扩展。Llama被Qwen和DeepSeek超越。扎克伯格斥资140亿美元收购ScaleAI并安置Alexandr Wang。FAIR机器人团队被解散。LeCun的研究不断赢得论文却输掉产品路线图。
他离职,创办AMI Labs,并公开表示LLM是死路。
现在这篇论文。LeWorldModel。一个正则化器取代了整个启发式堆栈。将潜在嵌入投影到随机方向,运行正态性检验,惩罚偏离高斯分布。模型无法崩溃,因为崩溃的嵌入在构造上会失败检验。超参数搜索从O(n^6)多项式降至O(log n)对数。六个可调旋钮变为一个。
下游数字应该让机器人资本支出阶级感到恐惧。每个观测的token数比DINO-WM少200倍。规划时间从每周期47秒降至0.98秒。在Push-T和3D立方体控制上匹配或超越基础模型性能,速度快48倍。潜在空间清晰地探测到智能体位置、块速度、末端执行器姿态。它正确地将物理上不可能的事件标记为令人惊讶。它学习了物理,却从未被告知物理存在。
Figure AI估值390亿美元。特斯拉Optimus大规模生产。World Labs筹集2.3亿美元销售生成式世界模型。每个人形机器人公司都在烧资本用于每周期规划47秒的基础模型管道。
LeCun的团队刚刚展示了你可以用1500万个参数在单GPU上几小时内完成。
这是施乐PARC模式再次上演。Meta拥有下一个架构。Meta拥有这位科学家。Meta解散了机器人团队,放弃了产品化,看着退出。三个月后,本应是Meta的实验室发表了重置机器人成本结构的结果。
这篇论文比Alexandr Wang更有价值。