Meta 用 1.5 万小时机器人视频训 8B JEPA,首次验证世界模型 scaling laws
RT @vai_viswanathan：一篇没人讨论的重磅新论文 ‼️
🌎 机器人世界模型现在有了 scaling laws。Meta 在 15,000 小时的机器人视频上训练了一个 8B 参数的 JEPA 来证明这一点。
RoboJEPA（FAIR at Meta + Mila）在 V-JEPA 2.1 的特征空间里想象未来,然后朝着一张目标图像进行规划。作者称这是迄今为止训练过的最大的 JEPA 预测器。
- 在 23 个公开数据集上训练:12 种机器人本体、15,022 小时视频,其中 6,692 小时带动作标注。
- 在 22M–2B 的模型上拟合 scaling law,它能准确预测 4B 和 8B 的结果。
- 随着算力增长,技能按顺序解锁:移动手臂、抓持物体、避开障碍,只有超过约 10^22 FLOPs 后才会推动物体。
- 在真实的 Franka 上、不做任何任务微调时,8B 模型抓取成功率为 67%,而 π0.5 只有 5%。这并非完全对等的比较(目标图像 vs 文本),而且 π0.5 在 pick-and-place 上仍然更强,53% 对 27%。
为什么重要:SCALING LAWS。你可以在投入之前就先预测更多算力能换来什么。
🌎 机器人世界模型现在有了 scaling laws。Meta 在 15,000 小时的机器人视频上训练了一个 8B 参数的 JEPA 来证明这一点。
RoboJEPA（FAIR at Meta + Mila）在 V-JEPA 2.1 的特征空间里想象未来,然后朝着一张目标图像进行规划。作者称这是迄今为止训练过的最大的 JEPA 预测器。
- 在 23 个公开数据集上训练:12 种机器人本体、15,022 小时视频,其中 6,692 小时带动作标注。
- 在 22M–2B 的模型上拟合 scaling law,它能准确预测 4B 和 8B 的结果。
- 随着算力增长,技能按顺序解锁:移动手臂、抓持物体、避开障碍,只有超过约 10^22 FLOPs 后才会推动物体。
- 在真实的 Franka 上、不做任何任务微调时,8B 模型抓取成功率为 67%,而 π0.5 只有 5%。这并非完全对等的比较(目标图像 vs 文本),而且 π0.5 在 pick-and-place 上仍然更强,53% 对 27%。
为什么重要:SCALING LAWS。你可以在投入之前就先预测更多算力能换来什么。