高德联合高校发布WorldRoam-Bench 专注交互世界模型长时评测
世界模型评测更新:不再只比画质,而是考长时间操控下的听话、稳定和记忆一致性。
高德联合清华、北大、南大发布WorldRoam-Bench,一个专门测试交互式世界模型(能根据你的操作实时生成3D场景的AI)在长时间漫游中表现的新基准。它不只看画面好不好,更看重AI能否准确响应每一步操作、保持物理合理(不穿模)、以及记忆一致性(场景和物体不莫名其妙变化)。测试了十几个模型,发现没有全能选手,不同模型各有短板。
正文摘录
近日,阿里巴巴集团旗下高德联合清华大学、北京大学、南京大学共同发布面向交互式世界模型(Interactive World Model,一种能根据用户实时操作生成动态连贯画面的AI模型)的开放评测基准 WorldRoam-Bench,该基准重点考察模型在真实漫游过程中的动作跟随、视觉质量、物理交互和记忆一致性。 当前,视频生成模型和交互式世界模型发展迅速,模型已经能够基于图像、文本或控制信号生成高质量动态场景。但在真实漫游任务中,一个可用的世界模型不仅要生成连贯画面,还需要在连续操作中稳定响应用户输入,在复杂场景中遵守基本物理约束,并在重访空间或持续观察主体时保持场景、结构和身份的一致性。 现有世界模型评测大多聚焦视频质量、整体轨迹或有限轮次交互,难以充分刻画开放域长时漫游中的真实失效模式。比如模型可能会出现最终轨迹看起来接近目标,却在过程中漏掉多个关键输入,或者在长时推理中出现画面漂移、结构退化、主体身份变化等问题。 WorldRoam-Bench 针对上述问题重新设计了评测方式:它不只看模型“像不像一个世界”,更关注这个世界能否被稳定控制、是否遵守物理约束、能否在长时间交互中保持记忆一致性。 本次基准发布共包含 600 多个测试案例,覆盖第一人称和第三人称视角,以及室内、自然、城市三类开放域场景。评测通过 10–60 秒的连续 WASD / IJKL 交互(类似游戏方向键控制),模拟真实漫游体验,并设置 15 个细分指标,衡量逐帧动作准确率、3D 一致性(3D 场景中物体位置、形状、遮挡关系的逻辑一致)、场景保持、幻觉率等能力。 目前,WorldRoam-Bench 已评测 10 多个前沿交互式世界模型,并实现开源模型和闭源产品的全面覆盖,呈现行业整体能力分布。该基准还提供公开积分榜,用于持续追踪模型在世界漫游任务中的能力进展。