Yann LeCun离开Meta创建AMI Labs,JEPA高效训练
> 做Yann LeCun
> 在Meta花了几年时间构建JEPA
> 公司却专注于LLaMA
> 他的想法依然复杂且未被采用
> 机器人计划被取消
> 决定离开并创立AMI Labs
> 从头开始构建一个更简单的版本
> 仅用几小时在普通硬件上训练
> 去掉了所有复杂技巧,保持简单
结果:
- 比同类系统少用200倍数据
- 决策速度快50倍
- 在单个GPU上运行,无需大规模集群
- 训练简单
- 理解运动、物体和空间
- 能判断何时物理上不可能
- 无需显式教导就能学习真实世界如何运作
> 在Meta花了几年时间构建JEPA
> 公司却专注于LLaMA
> 他的想法依然复杂且未被采用
> 机器人计划被取消
> 决定离开并创立AMI Labs
> 从头开始构建一个更简单的版本
> 仅用几小时在普通硬件上训练
> 去掉了所有复杂技巧,保持简单
结果:
- 比同类系统少用200倍数据
- 决策速度快50倍
- 在单个GPU上运行,无需大规模集群
- 训练简单
- 理解运动、物体和空间
- 能判断何时物理上不可能
- 无需显式教导就能学习真实世界如何运作
今年早些时候,Yann LeCun离开Meta,因为Mark Zuckerberg不愿把公司押注在JEPA上。上周他的团队发布了第一个真正从原始像素端到端训练的JEPA。1500万参数。单个GPU。几小时。
时机并非巧合。
四年https://t.co/8FvKjh804E