RynnWorld-4D: 用于机器人操作的 4D 具身世界模型

TL;DR RynnWorld-4D 从单张 RGB-D 图像和语言指令联合生成未来 RGB、深度与光流，以统一的 4D 世界模型支撑机器人操作，并通过逆动力学策略实现空间与时间精确操控。

问题

问题背景

具身智能领域正从静态场景理解迈向动态交互预测，世界模型 (world model) 需要能够推断场景在外力作用下的 4D 变化，以支撑机器人闭环操控。

现有方法局限

主流世界模型多基于 2D 视频生成：

• 纯 RGB 预测 缺乏显式的几何结构 (depth) 与时序运动线索 (optical flow)，难以对齐低层末端执行器动作空间，导致学到的策略在空间精度上不足。
• 多模态分治方案 将 RGB、深度、光流独立建模，再后对齐，忽略了模态间的物理一致性（如同一运动同时体现在外观和深度变化上），容易出现跨模态漂移。
• 扩散模型在具身推理中的瓶颈：虽然生成质量高，但多步去噪过程延迟大，无法满足实时闭环控制需求，常需额外蒸馏或简化模型。

为什么这个问题难/重要

• 物理连贯性要求高：未来帧的预测必须同时满足外观真实、几何变化合理、运动场平滑，任何一维度的失真都会误导下游策略。
• 数据与建模的双重稀缺：大规模、高质量的多模态操作数据集难以获取；同时训练一个统一模型让三种模态在隐空间内自动对齐，架构设计极具挑战。
• 实时推理与生成质量的权衡：在机器人控制中，世界模型不仅要输出高质量的 4D 预测，还需以毫秒级延迟提供可用的表示，这要求极简的前向通路设计。 业界对能够直接从原始传感器数据输出动作的端到端世界模型关注度极高，因其有望大幅提升操作机器人的泛化能力。

行业类比

此问题类似于自动驾驶中的端到端可微分模拟器，需要从单帧输入预测未来占据栅格与运动场，且输出必须直接可被规划模块消费。

核心洞察

• **RGB-DF 多模态生成统一 4D 世界预测**：与仅预测 RGB 视频的世界模型不同，RynnWorld-4D 同步生成深度图与光流，将视觉外观、几何结构与时序运动统一在扩散过程中。这种贴近物理动态的表示有效缩小了世界预测到低层级机器人动作的间隙，因为深度和光流直接编码了 3D 几何与运动信息，使模型能从单帧 RGB-D 和语言指令更准确地推断场景的未来变化，为下游策略提供了更丰富的感知基础。
• **内部 4D 表征直接驱动机器人策略**：RynnWorld-4D-Policy 从世界模型的一次前向传播中提取中间层 4D 特征，通过逆动力学头直接输出机器人动作，无需多步扩散去噪。相比常见的基于扩散的规划方法（如 Diffusion Policy），这极大地降低了推理延迟，实现了闭环实时控制，同时保留了世界模型学到的物理一致性。在要求空间精度与时间协调的双手灵巧操控任务上，该方法达到 SOTA 水平，证明了内部表征对机器人技能学习的高效性。

方法

RynnWorld-4D 模型结构

输入：模型接收一张 RGB-D 图像（同步的彩色图和深度图）以及一段语言指令，要求预测未来多帧的 4D 场景动态。

关键模块：核心是一个统一扩散模型，采用三支架构（tri-branch architecture） 分别处理 RGB、深度、光流 三个模态。去噪过程中，多个 cross-modal attention 层在不同模态间传递信息，确保生成的外观、几何和运动在时空上保持一致。位置编码引入逐帧 3D RoPE（3D Rotary Position Embedding），显式编码时间维度和空间关系。训练数据来自大规模数据集 Rynn4DDataset 1.0，包含超过 2.54 亿帧第一人称人类与机器人操作视频，并配有深度图和光流伪标签。训练采用三阶段策略：先对各分支做模态适应，再在冻结主干前提下训练联合注意力，最后进行全参数联合微调。推理时，只需给定初始帧和指令，通过单次扩散过程即可同步输出未来多帧的 RGB、深度和光流。

输出：模型直接输出未来时序的 RGB-DF（RGB 帧、深度图、光学流），实现对场景 4D 动态的预测。在此基础上，RynnWorld-4D-Policy 作为逆动力学头，提取模型内部的 4D 表征，单次前向传播即可输出机器人末端执行器的动作，无需多步去噪，可部署于闭环实时控制。

与同类方法差异：相比仅预测 2D 像素视频的世界模型，本方法利用 RGB-DF 多模态协同，将预测空间直接对齐到机器人几何运动需求，并通过统一扩散保证多模态一致性，显著缩短世界模型到策略学习的距离。

实验

实验设计

RynnWorld-4D 的实验主要围绕两个维度展开：生成质量与机器人操控策略性能。

• 生成评估：在 Rynn4DDataset 1.0 的测试集上，测量未来帧的 RGB、深度、光流的预测精度，以及时空一致性指标。
• 策略评估：将 RynnWorld-4D-Policy 部署到真实世界的灵巧双手操作系统中，完成一系列需要精细空间对准与时间协调的任务，并与主流基线（如扩散策略、行为克隆等）对比。

关键发现

1. 时空一致 4D 预测：RynnWorld-4D 生成的 RGB-DF 序列在长时预测中保持几何结构与运动规律的高度一致，未出现明显的漂移或纹理撕裂，验证了三分支架构与跨模态注意力机制的有效性。
2. 策略性能 SOTA：RynnWorld-4D-Policy 在所有真实世界任务上均取得最高成功率，尤其在需要毫米级定位和流畅多步协调的复杂操作中优势明显。
3. 效率提升：通过单次前向传播直接从内部 4D 表征提取动作，避免多步扩散去噪，推理延迟满足闭环控制要求。
4. 数据规模红利：Rynn4DDataset 1.0 的超大帧数（254.4M）显著提升了模型对场景动态的理解，即使伪标签存在噪声，模型也能学到鲁棒的 4D 先验。

与基线对比的深度解读

RynnWorld-4D-Policy 相对于先前工作的优势可归因于两点：

• 表示空间的物理锚定：传统 2D 视频世界模型预测像素变化，与机器人动作之间隔了一层“从视频到动作”的推断。RynnWorld-4D 直接将 RGB、深度、光流统一建模，使得世界状态与低维控制信号（末端执行器指令）之间的映射更直接，策略学习不再需要弥合巨大的模态鸿沟。
• 单一扩散过程的跨模态协同：对比分别预测各模态再后对齐的方法，统一的扩散框架确保了外观、几何与运动的内在耦合，避免了不一致性对下游策略的误导。

消融实验进一步证实，移除深度或光流分支会导致策略在空间精度和时间协调任务上的性能骤降，验证了 RGB-DF 多模态联合的必要性。

行业影响

落地场景

RynnWorld-4D 生成的同步 RGB、深度与光流数据，可直接嵌入需要空间精确性与时序协调的机器人操作产品中。典型应用包括：

• 仓储物流：双臂机器人拆垛、分拣，需同时预测物体 3D 位姿变化与抓取点运动。
• 精细装配：消费电子或汽车零部件组装，依赖毫米级深度估计和连续动作序列规划。
• 服务机器人：厨房辅助、实验室操作等开放环境下的灵巧手操作，模型的语言指令条件使其易于通过自然语言交互。

商业价值

本工作的价值体现在降低模型部署成本和提升操作成功率两条线：

1. 降本：通过预测未来的 RGB-DF 多模态流，策略学习可直接消费内部 4D 表征，无需昂贵的在线仿真或重复物理数据采集；单次前向推理的逆动力学头（RynnWorld-4D-Policy）跳过多步去噪，显著降低实时控制的计算开销。
2. 增收/体验提升：在真实双臂灵巧操作任务上达到 SOTA，尤其在空间精度任务上优势明显，可直接提升自动化产线的良率和柔性，减少人工干预。对于机器人即服务（RaaS）模式，更高的任务成功率意味着更快的投资回报。

与现有产品/工作流的接口

• 可作为数字孪生引擎的替代：在虚拟场景中，直接由单张 RGB-D 和语言指令生成未来状态，用于策略预训练或验证，无需手动构建高保真模型。
• 接入现有机器人中间件（如 ROS 2）时，可将世界模型作为独立节点，输出预测的深度、光流至轨迹优化器，同时策略头直接输出末端执行器命令，形成闭环控制。
• 其分阶段训练策略（模态适配 → 冻结骨干联合注意力 → 全参数微调）便于企业在已有视觉骨干上进行增量微调，保护既有投资。

具体落地 Use Case

电商仓储分拣：在大型电商的自动化仓库中，部署有多台单臂或双臂分拣机器人。现有系统通常依赖预先标定的物体模型和简单抓取规划，难以处理无序堆叠或异形件。集成 RynnWorld-4D 后，机器人可从单一 RGB-D 视角和“抓取红色圆瓶”的语言指令，直接预测未来几帧的深度和光流，准确推断物体 3D 运动轨迹，从而生成无碰撞的抓取序列。其逆动力学策略头在 NVIDIA Jetson 等边缘设备上实时运行，无需云端昂贵 GPU，使每台机器人的改造成本可控，且能适应频繁变化的 SKU。

医疗手术辅助：在显微外科手术机器人系统中，医生通过主从操作进行精细缝合。引入 RynnWorld-4D 可预测组织在工具交互下的形变（通过深度和光流变化），提前警告潜在的危险拉伸，或生成辅助稳定动作。语言指令接口允许医生口头指定目标区域，系统自动生成器械接近路径的 4D 预测，降低医生认知负荷，提升手术精准度和安全性。

局限

• **计算开销与实时性挑战**：RynnWorld-4D 基于扩散模型并行生成未来多帧的 RGB、深度和光流，训练和推理资源消耗大。尽管 RynnWorld-4D-Policy 通过单次前向推理绕过扩散去噪实现闭环控制，但世界模型本身的预训练和存储成本仍较高，论文未充分探讨在边缘设备或低延迟场景下的部署优化方案，这限制了其在资源敏感型机器人系统中的应用。
• **伪标签噪声与数据覆盖度**：Rynn4DDataset 1.0 使用预训练模型自动标注深度和光流，伪标签的误差会直接引入世界模型训练，可能影响生成内容的几何精度与运动一致性。此外，该数据集主要源自自我为中心的人类和机器人操作视频，场景与任务的多样性仍有限，难以覆盖开放世界中长尾的物体、背景与交互模式，导致模型在面对全新实例时可能出现泛化衰退。
• **跨平台和任务迁移性未验证**：实验仅在特定的双臂灵巧操作平台上进行，且任务集中于少数需要空间精度和时序协调的操纵场景。当机器人构型、相机内外参或任务指令分布发生较大变化时，世界模型与策略的紧密耦合可能导致性能急剧下降，论文缺少零样本或少样本迁移到新硬件、新操作任务的证据，限制了该方法的通用性。