从生成到仿真：世界模型距离真正的模拟器还有多远？

TL;DR 该论文以传统模拟器八项能力为基准，系统梳理 2018–2026 年 200 篇世界模型工作，发现其在交互与可控性上已局部替代，但物理约束、状态反馈和长程稳定性仍存明显差距，其中状态反馈最为薄弱。

问题

问题背景： 随着扩散模型和大规模视频生成的快速进展，生成式世界模型被越来越多地视为传统模拟器（物理引擎、游戏引擎、强化学习环境）的潜在替代品，业界开始探索“直接生成模拟”的可行性。

现有方法局限： 现有工作主要集中在生成质量上，对模拟器所需的八项能力缺乏系统性覆盖。具体技术短板包括：

• 物理引擎：视频生成式方法通常不嵌入守恒定律、碰撞响应等硬约束，只能产出视觉上合理但物理上不可靠的轨迹。
• 状态反馈：在 163 篇实现论文中仅 6 篇提供运行时接口用于查询实体状态或物理参数，其余仅输出像素，无法支撑闭环控制。
• 长期稳定性：长时程推演存在漂移，缺乏可重复性，难以作为确定性仿真环境使用。
• 统一动作接口：交互与可控性虽在特定场景有进展，但动作空间定义碎片化，缺少跨方法标准。

为什么困难且重要： 模拟器的核心要求是确定性演化、结构化状态查询与可重复长时程运行，而生成模型本质是概率采样，两者存在根本张力。若不能提供物理保证与状态反馈，世界模型就无法用于强化学习训练、自动驾驶闭环评估等对实时反馈和物理一致性要求极高的场景，规模化落地受限。

行业类比： 如同自动驾驶仿真平台需要逐帧返回车辆位姿与碰撞事件，若世界模型只输出“好看的视频”而无法查询状态，就难以替代 Carla 或 Isaac Sim。

核心洞察

• 能力清单作为外部标尺，系统解耦生成能力与模拟能力。论文以传统模拟器的八大能力（资产构建、物理引擎、交互、可控性、稳定性、状态反馈、多样性、评估指标）为基准，对 2018-2026 年的 200 篇世界模型工作进行了映射。与以往按技术路线或生成质量汇总的综述不同，这种功能视角直接对齐仿真工程需求，能揭示生成模型在视觉逼真之外的结构性短板，为行业提供了可操作的差距分析框架。
• 状态反馈是最被忽视的跨路线短板，163 篇实现论文中仅 6 篇提供运行时状态查询接口。这反映了从“生成外观”到“可交互模拟”的核心鸿沟：传统模拟器天然输出结构化状态，而生成式世界模型通常只产生像素或潜在表示，导致下游强化学习、控制与可复现实验难以直接接入。该发现跳出了对生成质量的单一关注，突出世界模型作为模拟器在工程集成上的关键缺口，为后续“一等公民状态反馈”方向提供了实证依据。

方法

本研究提出一种能力映射评估框架，以传统模拟器为外部标尺，系统衡量生成式世界模型与真实模拟器之间的差距。

输入：2018–2026 年间 200 篇代表性论文，覆盖三条技术路线——latent dynamics、video generation、joint-embedding prediction；以及传统模拟器八项能力定义：资产构建、物理引擎、交互、可控性、稳定性、状态反馈、多样性、评估指标。

关键模块：

1. 能力标尺构建：将传统模拟器的核心功能形式化为八个可评估维度，作为统一比较基准。
2. 文献映射：逐篇标注每项工作所实现/缺失的能力，形成路线×能力矩阵。
3. 差距分析：对比世界模型与传统模拟器在各能力上的达成度，识别系统性短板（尤其在物理保证、状态反馈、长时程稳定性）。

输出：能力差距报告——世界模型在交互与可控性上已实现特定场景的功能替代，但状态反馈最为薄弱（163 篇实现类论文中仅 6 篇提供运行时实体状态查询接口）；并给出六个未来方向：formalized physics、unified action interface、first-class state feedback、long-horizon stability、downstream-utility evaluation、cross-route hybridization。

不同于以往按模型架构或生成质量组织综述的路线，本文以传统模拟器能力为外部基准进行映射，首次量化揭示跨路线的状态反馈缺失。

实验

实验设计

本研究以传统仿真器的 八大能力（资产构建、物理引擎、交互、可控性、稳定性、状态反馈、多样性、评估指标）为外部标尺，将 2018–2026 年收录的 200 篇代表性论文 映射到 三条技术路线（潜在动力学、视频生成、联合嵌入预测），并区分 163 篇实现论文。

关键发现

• 交互与可控性 在特定场景已实现功能替代，但 物理定律的形式化保证、结构化状态反馈 与 可复现长时演化 仍不足。
• 状态反馈 是最被忽视的短板：163 篇实现论文中仅有 6 篇 暴露运行时查询实体状态或物理参数的接口（占比约 3.7%）。
• 多数工作停留在感知生成质量，缺乏可查询、可验证的仿真器接口。

与基线对比

传统仿真器（物理引擎、游戏引擎）提供形式化物理约束、可查询状态与确定性长时演化，而生成式世界模型在视觉丰富度与语言驱动交互上占优，但 工程可用性 远未达标。与仅关注模型架构或生成质量的既有综述不同，本研究从仿真器能力缺口切入，明确指出 状态反馈 为跨路线共性问题，并建议统一动作接口、形式化物理等方向。

行业影响

落地场景

世界模型当前可落地于低物理精度要求的生成与预训练场景：

• 自动驾驶数据增强：生成罕见交通场景视频用于感知模型训练，但不替代高保真物理传感器仿真。
• 游戏内容原型：快速生成关卡布局、角色动画预览，物理交互仍需传统物理引擎兜底。
• 电商虚拟试穿/商品场景合成：基于视频生成模型产出可交互预览，提升转化率。

关键在于：世界模型的优势在生成多样性和交互可控性，而非精确物理模拟，因此适合作为传统模拟器的“快速启发式前端”。

商业价值

• 降本：减少专用模拟环境和数据采集成本，尤其对需要大量边缘样本的感知训练。
• 增收：生成式内容带来新的产品形态，如个性化虚拟场景、交互式叙事广告。
• 体验提升：在消费级应用中提供实时、可控的视觉模拟，增强用户参与感。

但论文指出状态反馈缺失，意味着当前世界模型无法直接输出结构化状态用于决策闭环，商业价值在感知生成侧更早兑现，控制侧仍需传统仿真器。

与现有工作流集成

• 以生成器插件形式接入：世界模型输出视频帧或潜在表示，作为数据增强器喂给感知模型或 RL 环境。
• 需要开发统一动作接口和状态查询 API，否则难以与现有控制框架（如 ROS、Isaac Sim）协同。
• 推荐混合架构：世界模型负责快速生成多样化初始条件或边缘案例，传统物理引擎负责最终验证和长期 rollout。

只有补齐形式化物理约束与可查询状态反馈，世界模型才能从“生成器”升级为“可复现的模拟器”。

局限

• **覆盖范围偏差**：作为系统评估，结论依赖人工整理的 200 篇论文能力映射，仅包含截至 2026 年 6 月的公开论文，且通过关键词筛选，可能遗漏非主流路线或未公开发表的工作。能力评估基于作者定义的八项能力标尺，主观划分可能引入偏差，不同研究者对某些工作是否具备某项能力会有不同判断。该研究未进行任何实验验证，所有对比均为定性分析，缺少定量 benchmark 支撑。
• **工程落地不足**：论文明确指出 state feedback 是最被忽视的短板——163 篇实现类论文中仅 6 篇暴露运行时查询实体状态或物理参数的接口。但作者未能系统分析成因，也未给出可直接落地的接口设计规范或最小可行 API。对于 long-horizon stability，论文仅归纳现有方法（如 self-adversarial training、memory、causal consistency），缺乏理论统一框架，也缺少跨路线可复现的稳定性评测协议，导致未来方向中的 'first-class state feedback' 和 'long-horizon stability' 仍停留在建议层面，工程指导性有限。
• **对比深度不足**：与同类系统综述相比，本文以传统模拟器能力为标尺切入，视角新颖，但未深入比较各技术路线在实现效率、训练成本、推理延迟等方面的差异，也未讨论世界模型在高风险场景（如机器人、自动驾驶）下的安全认证问题。评价指标部分虽列举了生成质量、闭环 embodied、物理合理性等维度，但并未提出新的统一评价标准，或对现有指标的不足给出可操作的改进方案。