牛津、莫纳什等团队提出交互式视频世界模型 Oneira,用状态表保持物体交互结果
现有视频世界模型改物体常改错、改完还会忘;Oneira 把物体状态单独存表,让生成的世界真正可交互、状态可长期保持。
牛津大学、莫纳什大学和布里斯托大学的团队提出交互式视频世界模型 Oneira。它用一个由 Coding Agent 维护的 World State Table(世界状态表,记录场景中每个物体的位置和交互状态)把「世界里发生了什么」和「画面怎么呈现」拆开处理,从而能精确改动指定物体,并让改动在镜头移开再回来后依然保留。
正文摘录
.jpg)  最近,来自牛津大学&莫纳什大学&布里斯托大学的团队提出了交互式视频世界模型 Oneira,将这类模型从开放式的生成走向开放世界的交互。 现有的视频世界模型已经能够随着镜头的移动不断生成新的场景,但智能体在其中通常只能导航,或进行一些简单的交互。Oneira 通过 Coding Agent 维护的 World State Table 记录场景中的物体及其状态。无论是输入图像中已有的物体,还是镜头移动时新生成的物体,Oneira 都能精确地改变它们,并让改变后的状态在后续视频中持续保留。  本文的第一作者是杨昕迪,现为澳大利亚莫纳什大学博士生,博士导师是黄田津教授和蔡剑飞教授,主要的研究方向是视频生成模型和世界模型。