LeCun团队投10亿美元押注世界模型JEPA,认为LLM基础错误
Yann刚刚豪赌十亿美元,声称整个行业建立在错误的基础上。
大型语言模型预测下一个词。它们在文本上训练,因此理解语言。但真实世界不是由词语组成的。
它由连续的传感器数据组成:摄像头信号、触觉、声音。而且这些数据大部分是不可预测的。
你不能像预测句子中下一个令牌那样预测视频中的每个像素。生成式模型在这里失败,因为它们试图预测一切,包括噪声。
AMI Labs正在使用JEPA(LeCun在2022年提出的一种方法,学习现实的抽象表示并在压缩空间中预测,而非原始像素)构建世界模型。
动作条件版本让AI在执行动作之前模拟其后果。这不是生成,这是理解。
这解锁了能够在物理世界中运行而不产生幻觉的AI:
1. 规划多步操作的机器人
2. 错误会致死患者的医疗设备
3. 受安全约束的工业过程控制
4. 适应实时传感器输入的可穿戴设备
如果JEPA大规模工作,下一波AI公司将不会微调LLM。它们将在传感器数据上训练世界模型。LeCun的CEO已经预测,每家初创公司将在六个月内重新品牌化为“世界模型公司”。
架构之战开始了。
大型语言模型预测下一个词。它们在文本上训练,因此理解语言。但真实世界不是由词语组成的。
它由连续的传感器数据组成:摄像头信号、触觉、声音。而且这些数据大部分是不可预测的。
你不能像预测句子中下一个令牌那样预测视频中的每个像素。生成式模型在这里失败,因为它们试图预测一切,包括噪声。
AMI Labs正在使用JEPA(LeCun在2022年提出的一种方法,学习现实的抽象表示并在压缩空间中预测,而非原始像素)构建世界模型。
动作条件版本让AI在执行动作之前模拟其后果。这不是生成,这是理解。
这解锁了能够在物理世界中运行而不产生幻觉的AI:
1. 规划多步操作的机器人
2. 错误会致死患者的医疗设备
3. 受安全约束的工业过程控制
4. 适应实时传感器输入的可穿戴设备
如果JEPA大规模工作,下一波AI公司将不会微调LLM。它们将在传感器数据上训练世界模型。LeCun的CEO已经预测,每家初创公司将在六个月内重新品牌化为“世界模型公司”。
架构之战开始了。
宣布我们的新初创公司Advanced Machine Intelligence (AMI Labs)。
我们刚完成种子轮:10.3亿美元/8.9亿欧元,史上最大种子轮之一,可能是欧洲公司最大的一轮。
我们正在招聘!
[背景图片是面纱星云 - 我亲自拍摄的图片]