LeCun 指导新论文 H-JEPA:跨时间尺度堆叠世界模型,视觉规划成功率 18%→73%
RT @askalphaxiv:Yann LeCun 指导的新论文!
《H-JEPA:用于视觉规划的层次化世界模型端到端学习》
大多数世界模型只在单一潜空间、单一时间尺度上做规划,这使得长时程规划代价高昂,并迫使同一个表示既要处理低层运动又要处理高层目标。
H-JEPA 则把 JEPA 世界模型堆叠在多个时间尺度上,层级越高,预测的未来越远。
最高层先大致判断智能体该往哪里去,然后每个更低层把它转化为越来越具体的子目标,直到最底层输出实际动作。
在 Visual AntMaze 上,这种 3 层设置把成功率从 18% 提升到 73%,同时规划器计算量更少。
https://t.co/dQrd4iT1T9
《H-JEPA:用于视觉规划的层次化世界模型端到端学习》
大多数世界模型只在单一潜空间、单一时间尺度上做规划,这使得长时程规划代价高昂,并迫使同一个表示既要处理低层运动又要处理高层目标。
H-JEPA 则把 JEPA 世界模型堆叠在多个时间尺度上,层级越高,预测的未来越远。
最高层先大致判断智能体该往哪里去,然后每个更低层把它转化为越来越具体的子目标,直到最底层输出实际动作。
在 Visual AntMaze 上,这种 3 层设置把成功率从 18% 提升到 73%,同时规划器计算量更少。
https://t.co/dQrd4iT1T9