普林斯顿等发布 WorldOracle 基准,评测世界模型预测真机操作的能力
WorldOracle 用真实机器人操作记录检验世界模型:机械臂轨迹跟得准,物体状态常出错,长序列准确率明显下滑。
世界模型(能根据当前画面和动作预测后续画面的模型)被寄望于预测机器人操作结果,但普林斯顿、多伦多大学、NVIDIA 与智元等团队发现,它们可能把抓空预测成抓取成功。研究推出 WorldOracle,用真实执行记录为七种代表性模型打分。
正文摘录
.jpg)  机器人明明抓空了,世界模型却预测它成功抓起了水果。 这是 WorldOracle 展示的一个案例:给定真实操作的初始画面和动作序列,模型生成了一个看起来合理、却与实际执行不同的结果。画面里的成功,现实中并未发生。  世界模型究竟是在预测未来,还是在「脑补」一个最常见的成功结局?近日,来自普林斯顿大学、得克萨斯大学奥斯汀分校、多伦多大学、NVIDIA 和智元的研究人员共同提出 WorldOracle,以相同初始画面和动作序列对应的真实执行为参照,检验世界模型的预测能力。