Yann LeCun转推:VLA-JEPA登陆LeRobot,结合世界模型与VLA架构
VLA-JEPA模型正式登陆LeRobot 🤖。该模型特别之处在于它不仅从给定观察中学习执行动作,还利用JEPA世界模型学习与动作相关的动态。训练过程中,VLA通过调节其预测器来利用V-JEPA2。这种巧妙技巧为训练增加了世界建模目标,还允许在人类视频上进行预训练。推理时,世界模型被完全丢弃,仅保留标准VLA架构:Qwen骨干网络和动作头。此处演示仅用13个样本微调,展示了强大的预训练能力,并在@NVIDIARobotics DGX Spark上实时运行!VLA-JEPA是首个移植到LeRobot的世界模型,我相信这不会是最后一个 🚀 @Thom_Wolf @ClementDelangue