MBench：视频世界模型记忆能力的综合基准

TL;DR MBench 通过实体、环境、因果三个层次的一致性，系统评估视频世界模型的长时记忆能力，填补了现有基准只关注视觉质量而忽略状态保持的空白。

问题

问题背景

视频世界模型旨在从高维视觉序列中学习环境动态并预测未来帧，其核心能力在于长期状态保持，即模型在长时间跨度内维持实体、环境与因果逻辑的内部一致性。

现有方法的局限

当前评测基准（如 VBench、EvalCrafter）主要评估视觉质量（FID、IS）、运动连贯性（光流误差）和文本-视频对齐，却系统性忽略了“记忆”维度。具体而言：

• 实体漂移：模型生成数十帧后，角色外貌、物体颜色等属性逐渐变形或互换；
• 环境崩塌：空间布局、光照条件无约束地随机跳变；
• 因果割裂：前一时刻的动作不再影响后续状态，生成内容沦为无关联的图像序列。 现有方法缺乏细粒度、可量化的指标来诊断这种“灾难性遗忘”，导致研究者无法针对性地改进模型架构。

为何该问题重要且困难

长期一致性对世界模型的根本价值至关重要——从“视觉上可信”到“功能上可用的世界模拟器”存在鸿沟：

• 技术挑战：维持长达数百帧的状态稳定性，要求模型在隐空间内编码持久化记忆，而当前主流架构（如基于Transformer的扩散模型或动作条件视频模型）缺乏显式的记忆模块，归纳偏置不足；
• 产业迫切性：在机器人规划、自动驾驶仿真、交互式虚拟环境等应用场景中，不一致的生成将直接导致错误的决策和危险行为，业界亟需一个标准化的评测工具指引方向。

行业类比

与大型语言模型因上下文窗口限制而丢失长期对话逻辑类似，视频世界模型的“记忆衰减”问题制约了其从演示生成器走向可靠世界模拟器，需要专门的基准来量化并驱动突破。

核心洞察

• - 现有视频世界模型基准极度偏重视觉质量、运动连贯性等短期指标，而忽略了模型在长时域上维持稳定内部状态的记忆能力。MBench 是首个系统地将记忆能力拆解为实体、环境、因果三个层次一致性的基准，使得「世界模型是否真正理解了世界的持久性」这一命题可量化评估，揭示了当前模型在高保真生成与功能一致性之间的深层鸿沟。
• - MBench 提出了一套基于规则量化矩阵与 VLM 相结合的双引擎评估方案，既避免了纯人类评估的高成本与低复现性，又通过 VLM 捕捉语义级一致性，形成客观且可扩展的自动化 pipeline。这一设计直接解决了长视频生成中状态持久性难以自动评判的工程痛点，为后续模型迭代提供了标准化反馈信号。
• - 对主流文本条件视频延续模型与动作条件视频世界模型的大规模评测结果表明，即便是最先进的方法在长时记忆维持上仍存在系统性短板，特别是在因果自演化与交互一致性上严重退化。这为从业者指明了一条明确的研究方向：下一代世界模型必须在架构中显式建模状态记忆，而非仅依赖像素级生成能力。

方法

基准设计概览

MBench 将视频世界模型的记忆能力分解为三个层次互补的核心维度：实体一致性、环境一致性、因果一致性，并进一步细化为 12 个可量化子维度。整个评估面向两类主流生成范式：基于文本条件的视频续写模型与基于动作条件的世界模型。

输入与条件构造

基准基于精心筛选的真实长视频构建。对每条视频，通过自动化流水线生成多粒度文本描述（涵盖全局场景、实体属性与事件）以及动作序列（如物体的位移、交互轨迹），作为模型的条件输入。测试时，模型接收初始帧与对应条件，生成后续视频片段，其输出将被用于一致性评估。

自动化评估管道

评估采用规则驱动指标与VLM（视觉-语言模型）判别相结合的方式：

• 规则模块：利用检测器跟踪实体 ID，统计对象类别、数量、外观特征在时间轴上的变化；通过几何验证判断空间布局稳定性。
• VLM 触发：由 VLM 识别潜在不一致帧（如人物服装突变、物体突然消失），并触发精细化评分，弥补规则对语义保持判断的不足。

三维度评估体系

• 实体一致性：聚焦于对象与人物。子维度包括对象一致性（类别、属性、数量恒定）与人物一致性（身份、衣着、姿态持久），结合检测 ID 匹配与 VLM 语义比对。
• 环境一致性：检查空间一致性（背景结构、物体相对位置）与渲染一致性（光影、纹理、色调稳定），通过帧间特征相似度与几何约束量化。
• 因果一致性：评估自演化（如植物生长、液体变色）与交互（碰撞、连锁反应）是否逻辑合理，采用 VLM 对事件链的因果判分。

与同类工作的差异

现有基准（如 VBench、EvalCrafter）侧重短期视觉质量、运动平滑度和文本对齐，而 MBench 首次系统性地将评估重心放到长程状态保持与内部一致性上，为视频世界模型的实际部署能力提供了更贴近物理规律的评测维度。

实验

实验设计

评估基于 MBench 数据集，包含 300 个真实采集的长视频，覆盖室内外动态场景与复杂交互。每个视频配有多粒度 caption（从粗到细的场景描述）和动作序列（作为执行条件），支持两类对比实验：文本条件视频延续（如 VideoCrafter、LaVie）与动作条件视频世界模型（如 Genie 类架构）。自动化评估流水线拆解记忆能力为 12 个子维度，采用规则矩阵检测目标 ID、空间关系等，并用VLM（如 InternVL2）对语义一致性进行问答判断。

关键发现

所有模型在长期记忆上出现严重退化，即使短期画面质量可接受，也普遍存在：

• 实体一致性 不足：人物、物体属性漂移，长序列中目标丢失或突变（平均得分 < 0.4）
• 环境一致性 脆弱：背景布局、光照、纹理随着生成推进逐渐失真（空间误差逐帧放大）
• 因果一致性 最差：动作条件模型在自演化与交互场景中常输出反物理结果（如物体凭空悬浮），得分仅约 0.2

总体表现为视觉上“形似”，但缺乏稳定的内部世界状态，无法支撑长程推理。

基线对比解读

文本条件模型在初期依赖 prompt 能生成连贯片段，但缺乏持久动态表征会导致环境一致性指数衰减；动作条件模型引入显式记忆模块，理论上可缓解漂移，但当前记忆容量与更新机制仍不足以维持因果链条。规则指标（判别目标 ID 是否延续）与 VLM 判断高度相关，说明自动化评估可靠，但 VLM 与人工标注仍有约 10% 的 gap，提示未来需更精细的触发器设计。该基准首次将视频世界模型的评估从表面质量推向长时记忆本质，指明了需要状态空间模型、外部记忆增强以及时序因果监督等研究方向。

行业影响

落地场景

MBench 评估的视频世界模型记忆能力，直接影响需要长期时空一致性的生成系统。典型场景包括：

• 短视频/游戏内容自动生成：依赖模型维持场景中的角色、物体和因果逻辑，避免“上一帧穿红裙，下一帧变蓝裤”的错误，提升连续剧集或游戏过场动画的生产效率。
• 具身智能仿真：机器人训练需在虚拟环境中长期交互，记忆一致性确保物体不会无故消失、环境布局保持稳定，使仿真数据更可信。
• 数字人/虚拟主播：长时间直播或对话中，人物外表、衣着、背景需保持不变，MBench 所测的 实体一致性 直接对应此类产品体验。
• 影视前期预览：导演使用世界模型快速生成多镜头预览时，环境光照、景物、人物位置必须跨镜头连贯，否则失去参考价值。

商业价值

• 降本：自动化视频生成若缺乏记忆，需大量人工筛选和修正片段；高记忆分数模型 可减少后期编辑投入，据实验主流模型记忆衰退严重，提升空间大。
• 增收：更连贯的视频生成能力可解锁新商业模式，如动态广告投放（同一虚拟角色在不同的场景中长期演绎一支广告）、互动叙事游戏（玩家行为影响世界状态，需记忆保留因果链）。
• 体验升级：在影视、直播领域，观众对穿帮零容忍，记忆提升能直接减少用户流失，延长使用时长。MBench 提供的 12 项量化指标 可作为模型选型的硬性 KPI，指导采购与自研。

与现有产品/工作流的接口

MBench 的评估框架可直接嵌入 ML pipeline：

• 训练阶段：将 实体/环境/因果一致性 分数作为正则化项或验证指标，类似 FID 在图像生成中的作用，但专门针对长期记忆。
• 模型上线前卡点：自动测试不同时长下的记忆衰减曲线，设定阈值拦截不合格版本。
• 与现有 VLM 结合：MBench 采用 VLM 判别与规则混合评估，可与常见的视频理解 API（如 GPT-4o、Gemini）集成，无需额外标注平台。

具体落地 use case

电商虚拟试穿/虚拟展厅：用户上传照片后，模型生成其在不同场景穿着不同服装的连续视频。若模型记忆差，人脸、体型或环境会出现不一致，导致退货率上升。引入 MBench 评估可筛选出能稳定维持用户外观特征的模型，保证多角度、多场景下试穿效果可信，降低决策摩擦。

自动驾驶仿真：构建 corner cases 连续场景时，交通标志、行人位置、天气条件需在时间线上逻辑一致。例如一辆车被遮挡后又出现，其状态不应突变。利用 MBench 的因果一致性指标，可自动化过滤生成质量低下的仿真片段，提升感知模型训练数据有效性。

局限

• **评估范围较窄，模型覆盖有限**：当前 MBench 主要评测了文本条件视频续写模型（如 VideoCrafter2、SVD）和动作条件视频世界模型（如 GameNGen），但对基于 latent state 预测或 JEPA 等更具世界模型潜力的架构支持不足；同时评估的模型总数仍偏少，可能无法充分反映该领域多样化的方法学差异，限制了结论的普适性和对后续模型设计的指导力。
• **VLM 辅助评估引入潜在偏差**：虽然规则-based 指标提供了客观性，但部分触发机制（如实体检测、因果逻辑判定）依赖 VLM 判断，尽管作者报告了较高的人-机相关性，VLM 本身的幻觉、偏见以及对未见过场景的泛化不稳定仍可能污染评测信号，尤其在开放域长视频中，这对建立严格科学 benchmark 构成隐性风险。
• **数据分布与社区可复现性待加强**：基准构建于精心采集的实拍长视频，但未深入分析视频中物体类别、场景布局的分布偏差会如何影响一致性的难度校准；此外，项目页虽提供代码，但并未明确发布标准化的训练/测试分割与评测协议容器，这可能导致不同实验室的复现结果难以直接对比，增加社区采用门槛。