Yann LeCun发布Minecraft多玩家视频世界模型Solaris
世界建模从来不是关于渲染像素。
渲染是局部的。世界状态是全局的。一旦存在多个智能体,唯一真正重要的是个体视角之下的共享表示。这种共享表示会扩展为集体能力。
这就是为什么我非常兴奋地分享Project Solaris——我们在Minecraft中构建多玩家视频世界模型的新工作。
本次发布包括三个主要部分:
1⃣Solaris Engine:一个功能齐全的多玩家数据采集系统,内置可视化。团队为此投入了大量工作,因为目前还没有类似的东西。
https://t.co/dw9lTmr9Pk
2⃣Solaris Model:一个多玩家DiT,采用新的内存高效自强制设计,在1260万帧协调Minecraft游戏数据上训练。
https://t.co/cVjlGKcNUf
3⃣Solaris Eval:使用VLM作为裁判评估不同多玩家能力。
阅读@ojmichel4的完整技术解析,开始使用Solaris构建。
https://t.co/1NkdqSRZy5
渲染是局部的。世界状态是全局的。一旦存在多个智能体,唯一真正重要的是个体视角之下的共享表示。这种共享表示会扩展为集体能力。
这就是为什么我非常兴奋地分享Project Solaris——我们在Minecraft中构建多玩家视频世界模型的新工作。
本次发布包括三个主要部分:
1⃣Solaris Engine:一个功能齐全的多玩家数据采集系统,内置可视化。团队为此投入了大量工作,因为目前还没有类似的东西。
https://t.co/dw9lTmr9Pk
2⃣Solaris Model:一个多玩家DiT,采用新的内存高效自强制设计,在1260万帧协调Minecraft游戏数据上训练。
https://t.co/cVjlGKcNUf
3⃣Solaris Eval:使用VLM作为裁判评估不同多玩家能力。
阅读@ojmichel4的完整技术解析,开始使用Solaris构建。
https://t.co/1NkdqSRZy5
📢当前的世界模型并非真正在建模世界;它们建模的是单个智能体对世界的观察。局部观测≠世界状态。
未来的世界模型将独立于任何单个智能体的视角。你将能够在任意时间点“放入”任意数量的智能体,https://t.co/dyPb6kD7tN