BVB: 通过 Blender 中的程序化重建对智能体视频理解进行基准测试

TL;DR BVB 让智能体在 Blender 中以代码重建真实视频，用 Dual VQA 与 Latent Similarity 双指标评估；最佳模型视觉相似度 88.6，但时空事实仅保留 53.7%，显示“看起来像”不等于“真理解”。

问题

问题背景

多模态 agent 可通过代码在 Blender 等软件中创建复杂视频，但主流视频理解基准仍以问答为主，难以检验 agent 是否真正掌握视频的时空事实。

现有方法局限

• 问答式基准（如 Video-MME、MVBench）依赖选择题，存在答案偏置和评测粒度问题。
• 模型可依靠表面线索或检索记忆“猜对”，而无需理解场景结构、相机运动、物体交互等连续动态。
• 程序化表示（如场景图）虽能捕捉部分语义，但不要求生成可渲染视频，无法验证重建的感知保真度。

为什么这个问题难/重要

程序化重建要求模型将原始视频转换为可执行代码，同时保持：

1. 语义保真：保留物体、动作、时序关系等事实；
2. 感知相似度：渲染结果在隐空间上与源视频接近。 这对模型的长时序推理、工具调用和成本控制提出综合挑战。在数字孪生、仿真测试、视频编辑等工业场景中，能重建视频的 agent 更具实用价值，而目前最佳模型在 Latent Similarity 达 88.6 但 Dual VQA 仅 53.7%，说明语义保留仍是主要瓶颈。

行业类比

如同自动驾驶仿真需要从真实行车视频重建场景来验证感知模型，BVB 用 Blender 程序化重建来检验视频理解，把“看懂了”升级为“能复现”。

核心洞察

• 程序化重建将视频理解从判别式问答转向生成式验证：模型必须用代码在 Blender 中重建场景、物体运动与相机轨迹，而不是从多个选项中选择答案。这与现有视频 QA 基准（如 MVBench、Video-MME）的根本差异在于，QA 只要求模型对预定义事实做出正确判断，而重建需要模型主动编码完整的时空结构，因此更能区分“看懂了”与“答对了”。该基准通过 Mini-BVB harness 与统一沙箱保证可比性，避免环境差异带来的偏差。
• 双指标分离视觉保真与语义保真，暴露了当前多模态模型“看起来像但不够真”的核心缺陷：最佳模型 Latent Similarity 达 88.6，但 Dual VQA 仅保留 53.7% 的时空事实。与已有工作仅使用单一相似度或 QA 分数不同，BVB 同时用 V-JEPA 潜空间相似度衡量感知重建质量，用 Dual VQA 衡量重建结果中源视频关键时空事实的留存率，并通过平方根均值平衡两者，避免某一指标主导排名。结果表明增加推理预算只提升视觉相似度，无法弥补语义保留差距，这为工程优化指明了方向：语义理解而非渲染质量才是瓶颈。

方法

输入与任务定义

BVB 以真实世界视频作为源输入。Agent 接收视频与标准化指令：要求在 Blender 中通过编写 Python 代码程序化重建该视频的动画场景，而不是输出像素或直接生成视频。

关键模块

Mini-BVB harness 是核心执行环境。它封装了 Blender 的 Python API，为模型提供一致的沙盒接口，包括场景对象、材质、相机与时间轴控制。所有模型在相同沙盒与共享成本限制下运行，确保公平。Agent 输出的代码在 harness 中执行，驱动 Blender 生成动画场景。渲染阶段从重建场景的动画相机出图，得到一段视频。

评估分两个独立模块：

• Dual VQA：构造一组关于源视频的时空事实问题。分别对源视频与重建视频进行问答（使用同一 VQA 裁判模型），计算重建视频保留正确答案的比例，衡量语义保留程度。
• Latent Similarity：通过预训练视频编码器（如 V-JEPA）提取源视频与重建视频的潜在表示，计算剪辑级相似度，反映感知一致性。

整体分数 取 Dual VQA 与 Latent Similarity 的平方根均值（几何平均），以惩罚偏科、鼓励平衡。

输出

最终输出每个模型的总体评分与两个分项指标，用于排行榜排序。与仅依赖问答的传统视频理解基准不同，BVB 将程序化重建作为验证理解的核心手段，并同时量化语义保留与感知相似性。

实验

实验设计

BVB 基准要求智能体通过 Mini-BVB 轻量 harness 在相同沙箱与共享成本限制下，程序化重建真实视频为 Blender 动画场景。评估采用两个维度：Dual VQA 度量重建保留的时空事实数量，Latent Similarity 度量与源视频的感知相似度，总体分数取平方根均值。共评估 51 个配置，来自 10 个模型家族，并分析语义保留、感知相似性、推理努力与成本。

关键发现

最佳模型达到 88.6 Latent Similarity，但仅保留 53.7% 的源正确时空答案，表明感知重建较好但语义事实保留不足。额外推理能提升视觉相似性，却无法缩小事实准确率差距。盲评研究（15 名评分者，5 个配置）显示 Latent Similarity 与人类偏好强相关，验证了感知指标的合理性。

基线对比解读

与以问答为主的传统视频理解基准相比，BVB 通过程序化重建任务揭示“看起来正确”与“实际正确”之间的巨大鸿沟。高 Latent Similarity 说明模型能生成视觉上相似的场景，但低 Dual VQA 暴露了时空关系推理的短板。这一结果暗示当前多模态 agent 更擅长模仿外观而非理解动态语义，为后续改进提供了明确方向。

行业影响

落地场景

BVB 的程序化重建范式可应用于视频内容智能审核与增强：例如电商平台中，商品展示视频可由 agent 解析动作、场景与时序后，在 Blender 等 3D 引擎中重建为可编辑动画，用于 A/B 测试不同机位或替换背景素材。

在自动驾驶仿真领域，真实路采视频可被重建为可编程场景，用于生成 corner case 训练数据，减少实车采集成本。内容平台则可利用该基准评估生成视频的时空事实一致性，降低幻觉型内容上线风险。

商业价值

价值主要落在降本与体验提升：程序化重建避免依赖大规模 diffusion 生成，素材可参数化复用，降低视频制作与审核的人力成本。

评估指标 Dual VQA 与 Latent Similarity 可作为模型选型和质量门禁，将“看起来像”与“事实上对”拆开衡量，防止低事实准确率的内容通过。对视频生成产品而言，引入该基准能提升用户对生成结果的信任度，减少人工复核。

与现有产品/工作流接口

可封装为模型评估中间件：输入视频，输出重建脚本与 scores，接入现有 MLOps 流水线（如 MLflow/W&B）做回归测试。运行于 Mini-BVB 轻量沙盒，成本受限，适合 CI 集成。

前端产品可将 LS 分数作为感知质量预览指标，DVQA 作为事实校验器，在发布前自动阻断不达标内容。相关代码与评估协议已开源在 GitHub，可直接集成到现有视频理解或生成 pipeline。

局限

• 程序化重建作为视频理解代理任务的有效性仍需验证。重建能力与编码熟练度高度耦合，模型可能因不熟悉 Blender API 或 3D 建模而失败，而非缺乏视频理解。**BVB** 虽然提供了统一 harness 和沙盒，但无法完全消除这种偏差。此外，真实视频中大量动态细节（如流体、形变、复杂光照）难以在 Blender 中程序化表示，导致任务可能低估模型对这类现象的理解能力。
• 评估指标存在内在张力。**Dual VQA** 依赖预定义问答对，覆盖面有限且可能偏向可枚举的语义事实；**Latent Similarity** 使用 V-JEPA 等表示度量感知相似度，但高感知相似度不保证语义正确。最佳模型 LS 达 88.6 而 DVQA 仅 53.7%，说明两者并未协同。整体分数采用平方根均值虽然平衡，但可能掩盖单维度严重不足，实际应用中需要更细粒度的诊断。
• 基准的规模与泛化性受限。实验评估了 10 个模型家族共 51 个配置，但未披露具体视频数量。若视频样本较少或来源单一，则结果可能过拟合。此外，所有重建都在 Blender 内进行，限制了可表示场景的范围；真实世界中的物理约束、交互和实时性未被充分考量。这些因素可能影响结论向更广泛视频理解任务的迁移。