MemoBench: 动态变化环境中的世界建模基准测试

TL;DR MemoBench 提出消失-重现范式，专门评测视频生成模型在物体离开视野且发生动态变化后能否正确记忆其更新状态，填补了现有基准仅评估静态遮挡的空白。

问题

视频生成模型正从单纯的外观模拟迈向世界建模（world modeling）——不仅要生成连贯帧，还需理解场景的动态变化。当前领域关注记忆一致性（memory consistency）：当物体短暂离开视野再重新出现时，其状态是否与之前保持一致？

现有基准测试（如 VBench、TC-Bench）大多仅在目标保持在视野内时评估一致性，忽略了更常见的消失并重新出现（disappear-and-reappear） 场景。少数工作（如 MovieGen Bench、PhyBench）虽强制物体离开视野，但仅测试静态遮挡——遮挡期间场景不发生变化，模型只需“记住”物体原样即可，无法检验模型对动态演化的理解。这导致评估严重脱离实际：真实世界不会因为你看不见而停止变化。

该问题的难点在于要求生成模型具备时空持久性推理：在物体被遮挡后，仍需根据物理规律持续更新其状态（如冰块在视野外融化、行人路线改变）。这对模型的长时记忆、因果推断和物理常识构成严峻挑战。业界在具身智能、自动驾驶、机器人操作等领域均有迫切需求——智能体必须推断传感器视野外正在发生的变化，才能做出安全决策。

类似挑战早已出现在自动驾驶中的遮挡预测：当行人被公交车遮挡后重新出现，规划模块需要预测其新的位置与速度，而非简单地假设行人停在原地。MemoBench 正是将这种推理压力引入生成式视频的世界建模评估。

核心洞察

• **消失‑重现范式暴露出模型的核心记忆断层**：现有记忆一致性基准主要在物体持续可见的条件下评估，少数涉及遮挡的基准也仅针对静态场景，物体在遮挡期间不发生状态变化。MemoBench 通过让目标物体经历物理过程（如冰融化、火燃烧）后暂时离开视野，再重现时必须恢复为更新后的状态，直接测量模型对动态世界状态的推理能力。评估显示，即使先进的视频生成模型也无法可靠地维持这种跨遮挡的时间连贯性，说明当前模型缺乏对物体持久身份与状态演化的结构化记忆，这对自主系统在真实世界中的可靠推理构成关键限制。
• **自动化指标与 VQA‑based 评估的分歧揭示了评测方法的多维性**：MemoBench 同时设计了空间语义、运动、身份、时间连续性等自动指标，并通过视觉问答（VQA）捕捉更高层的逻辑一致性。实验发现自动分数与 VQA 结果之间并非简单正相关，例如某些模型在自动指标上表现突出但在 VQA 中回答错误，表明低层像素/特征相似性可能掩盖对物理状态的误解。这提示工程中不能单一依赖自动指标来筛选模型，必须辅以基于语言查询的诊断测试才能全面把握模型对动态世界的理解深度。

方法

输入数据与任务设计

MemoBench 的核心输入是围绕“消失—重现”范式设计的视频片段：目标对象经历一个物理过程（如融化、倾倒），随后暂时离开摄像机视野，再次出现时其状态已发生动态变化。基准包含 360 个真值片段，覆盖合成与真实场景，每个片段都标注了对象边界框、分割掩码及物理过程阶段。

关键模块与评估流程

数据策划框架：通过程序化生成与人工采集结合，构建具有可控遮挡、对象运动和状态演化的序列，确保场景在遮挡期间持续变化，而非保持静态。

评估套件：分为两条路径——

• 自动化指标：聚焦于对象重识别分数（ORS）、运动门控评估、逐阶段保真度分解等，通过检测重现场景中对象外观、姿态与上下文的一致性，量化模型对动态状态的记忆能力。
• VQA 指标：借助多模态大语言模型，针对四个诊断维度（状态保持、物理过程连续性、几何一致性、语义合理性）生成问题并评分，模拟人类对“模型是否正确想象了遮挡期间发生的变化”的判断。

输出与诊断

对每个视频生成模型，MemoBench 输出分维度的雷达图与量化报告，揭示其在动态场景记忆中的薄弱环节。

与同类方法的差异

不同于仅在目标可见时评估一致性（如 T-Consistency）或仅在静态场景下测试遮挡的基准，MemoBench 首次将动态环境下的记忆更新作为核心诊断目标，填补了现有记忆一致性评估的空白。

实验

实验设计

MemoBench 围绕 消失后重现 (disappear‑and‑reappear) 范式设计诊断基准：目标物体在画面中经历物理过程（如融化、燃烧），随后离开视野，再次出现时需正确恢复其更新后的状态。数据集包含 360 个 ground‑truth 片段，覆盖合成与真实场景，并通过四个诊断支柱进行评估。评估融合 自动指标（如像素级一致性）与 VQA‑based 指标（视觉问答判断对象恢复正确性），对 10 个 最先进的视频生成模型展开测试。

关键发现

当前的视频生成模型在动态环境中的记忆一致性普遍不足。与静态遮挡场景相比，物体在消失期间发生状态变化会显著降低模型正确恢复对象的能力。自动指标显示，多数模型在对象重现时产生明显的纹理、形状或姿态错误；VQA 评估进一步揭示模型在 逻辑推理 与 时序一致性 上的深层缺陷。只有少数大规模预训练模型在简单场景下表现出部分记忆能力，但远未达到可靠动态世界建模的要求。

对比解读

此前基准（如衡量帧间一致性的工作）通常只关注 物体始终可见 的情况，或仅在 静态遮挡 下测试（消失前后无变化）。MemoBench 刻意将评估推向动态变化条件，由此暴露出现有模型与理想世界仿真之间的核心差距：模型尚未学会在视野之外持续维护和更新对象状态。这一差距直接对标自动驾驶、具身智能等应用中对 视野外演化推理 的真实需求，为该领域指明了以动态记忆一致性为核心的改进方向。

行业影响

落地场景

MemoBench 瞄准视频生成模型在动态环境中的记忆一致性，尤其关注物体消失后重现时状态更新的准确性。该基准可直接服务于虚拟影视制作（如数字演员跨遮挡的动作连贯性）、自动驾驶仿真（行人/车辆被遮挡后行为预测）、机器人训练环境生成（物体在不可见区域持续变化）以及电商虚拟试穿（服装随身体动作消失-重现时的褶皱/形变一致性）。对于任何依赖世界模型预测长期状态的应用，MemoBench 提供了一套标准化的诊断工具。

商业价值

• 降本：自动过滤模型在遮挡场景下的幻觉帧，减少人工审核与后期修复成本。例如在虚拟拍摄中，消除“物体重现时状态跳变”的穿帮镜头。
• 增收：提升 AI 生成内容的真实感与可用性，加速视频生成模型在广告、游戏资产生成等高价值场景的商业化落地。更可靠的动态记忆能让客户为更高品质的生成结果付费。
• 体验升级：在交互式应用中（如虚拟主持、AI 伴侣），确保角色离开视野后返回时仍保持上下文连贯，避免用户遭遇“出戏”瞬间，显著提升沉浸感。

与现有产品/工作流的接口

MemoBench 设计为即插即用的评估套件，包含自动化指标与 VQA-based 评估。工程团队可将其嵌入 CI/CD 流水线，在模型迭代时自动运行回归测试。具体形式可以是：

1. 作为 GitHub Action 或内部测试平台的一个模块，输入新生成的视频片段，输出分项得分与雷达图。
2. 与现有视频生成框架（如 RunwayML、Pika）的 API 集成，在用户使用前进行质量预检。
3. 集成至数据飞轮：将失败案例回送标注平台，针对性补充训练数据。

具体落地 Use Case

电商虚拟试穿：用户上传一张静态照片，要求生成模特穿着指定服装且完成转身、走动等多视角视频。当服装（如裙摆）随动作部分进入遮挡区后重新出现时，MemoBench 可量化面料物理状态（褶皱、摆动幅度）的保持能力，帮助服务商筛选具有鲁棒记忆的骨干模型，避免生成“裙子闪现”或“褶皱重置”的诡异画面。

自动驾驶闭环仿真：在城区复杂场景的重建中，自车视角可能暂时丢失一辆正在变道的自行车（被公交遮挡）。当自行车重新出现时，其速度、姿态应与遮挡前物理规律连贯。使用 MemoBench 的消失-重现范式对世界模型进行诊断，可直接指导选择或微调用于行为预测的 backbone，减少因状态不一致导致的碰撞风险，提升仿真训练的安全性。

局限

• **数据集规模与多样性有限**：MemoBench 包含 360 个视频片段，虽然覆盖合成与真实场景，但场景类型和物体类别仍显不足。物理过程集中于冰融化、火焰闪烁等有限变换，可能无法代表更复杂的动态变化（如多人交互、流体、柔性物体变形）。这可能导致模型在基准上的表现难以直接外推到更广泛的现实应用，评估结论的普适性需要更大规模、更多样化的测试集来验证。
• **VQA 评估依赖外部模型**：VQA-based metrics 依赖 GPT-4V 等 VLM 进行状态判断，这些模型本身存在幻觉和偏向性，可能引入评估误差。尽管作者通过消融实验分析了评估的鲁棒性，但 VQA 提示设计、评分阈值的选择仍会显著影响结果，且不同 VLM 的结果一致性未充分验证。这降低了评估的客观性，实际使用时需谨慎校准。
• **任务范式简化了真实世界建模**：消失-重现范式仅要求模型在遮挡期间更新对象状态，但真实世界建模往往涉及长期记忆、多物体相互作用和因果推理。MemoBench 目前侧重于单物体在短暂遮挡后的物理状态恢复，未触及更复杂的时空推理和规划能力，因此对该范式的良好表现不一定代表模型具备全面的世界建模能力。