RynnWorld-Teleop: 一种面向数字遥操作的动作条件世界模型

TL;DR 提出数字遥操作范式，用生成式世界模型将人手动作流实时合成为机器人视角视频，替代物理示教，生成高保真训练数据，实现零样本 Sim2Real 迁移。

问题

问题背景

机器人学习迈向通用自主性的关键瓶颈在于大规模、多样化轨迹数据的获取。当前研究普遍依赖物理遥操作（physical teleoperation）收集演示，但该方法将操作员时间与特定硬件及工作空间深度绑定，难以扩展。

现有方法局限

• 物理遥操作：每条轨迹都需操作员实时操控真实机器人，效率低、成本高，且动作表征与具体机器人形态（embodiment）耦合，迁移到新平台需繁重复标定。
• 传统仿真数据：虽能缓解数据量问题，但存在Sim2Real 视觉域差距，合成的低精度图像难以让策略学到真实世界的复杂光照与物理交互，导致 zero-shot 迁移失败率高。
• 已有世界模型尝试：多数无法同时满足高保真视频生成、实时交互帧率（>30 FPS）与跨形态动作控制。例如纯视频预测模型缺乏动作条件，或仅支持低分辨率离线生成。

为什么这个问题难且重要

数字遥操作（digital teleoperation）的核心挑战在于：

1. 动作控制精度：需要用操作员的手部姿态流准确引导视频生成，且保证生成画面与参考图像环境一致，微小偏差会误导策略学习。
2. 实时生成性能：交互式遥操作要求单帧推理时间 < 25ms（40+ FPS），而基于扩散模型的高质量视频生成通常耗时数秒。
3. 跨形态泛化：产出的动作标签需与机器人无关，以便通过标准 retargeting 迁移到任意目标机器人。

该问题之所以吸引全球 AI 社区，是因为一旦突破，可建立高保真、可扩展的机器人数据引擎，直接提升 imitation learning 的性能与零样本 Sim2Real 迁移能力，极大降低机器人研发的数据门槛。业界工作如 Cosmos、UniSim 等均朝着该方向探索。

行业类比

如同合成数据在自动驾驶感知领域弥补了真实路采的稀缺性，数字遥操作通过生成式世界模型为机器人策略提供近乎无限的标注轨迹，有望成为具身智能领域的 ImageNet。

核心洞察

• **数字遥操作 (digital teleoperation) 将数据采集与物理机器人完全解耦**，操作者仅需提供手部姿态，由生成式世界模型合成以机器人为中心的高保真视频。与传统仿真器相比，它不依赖人工设计的资产或精确物理建模，而是从单张参考图像出发，直接生成多样且真实感强的交互场景，大幅降低了获取大规模具身数据的时间和硬件成本。
• **流式自回归蒸馏 (streaming autoregressive distillation) 使视频扩散模型首次达到 40+ FPS 实时交互生成**，通过将扩散生成压缩为单次前向推理，在单张 H100 GPU 上实现实时视频合成。这突破了以往扩散模型因迭代采样而无法用于实时遥操作的瓶颈，让操作者可以即时看到控制反馈，从而流畅地完成复杂演示。
• **仅用合成数据训练的策略实现了灵巧双手任务的零样本 Sim2Real 迁移**，且将生成数据混入真实数据可进一步提升成功率。这验证了模型生成的动作-状态轨迹具有足够的物理合理性与分布覆盖度，使得 RynnWorld-Teleop 能作为高拟真、可扩展的数据引擎，直接服务于下一代机器人 agents 的模仿学习。

方法

RynnWorld-Teleop 以数字遥操作（digital teleoperation）范式为核心，将操作者手部姿态流与单一参考图像作为输入，通过生成式世界模型合成机器人视角的高保真交互视频，并同步输出可供模仿学习的状态-动作轨迹。

关键模块

1. 深度感知动作表示（Depth-Aware Action Representation）
   将3D手部关键点坐标与深度信息融合为骨架条件，替代传统2D关键点，增强空间感知，使条件信号对视角变化更鲁棒。

2. 动作条件视频生成
   基于视频扩散Transformer（Video DiT），以参考图像和动作序列为条件，逐步去噪生成未来帧。模型直接预测完整视频片段，确保时序一致性。

3. 渐进式跨域训练（Progressive Human-to-Robot Training）
   先在海量人类操作视频上预训练，再逐步迁移到少量机器人遥操作数据，利用域渐进策略缓解人类手部与机器人末端执行器之间的视觉域差异，使生成视频呈现逼真的机器人几何与纹理。

4. 流式自回归蒸馏（Streaming Autoregressive Distillation）
   将扩散模型的多步去噪过程压缩为单步前向推理，并结合自回归架构：利用前一帧预测当前帧，再以当前帧预测下一帧，形成流式推演。蒸馏后生成速度可达40+ FPS，在单张H100 GPU上实现实时交互。

输出与闭环

生成的高保真视频与对应的姿态流构成完整轨迹，姿态流作为具身无关的动作标签，可通过标准重定向迁移到任意真实机器人，直接用于策略训练。

与现有视频生成模型不同，RynnWorld-Teleop 通过深度感知条件、渐进跨域训练和蒸馏流水线，首次将扩散生成压缩至实时交互速率，并实现零样本 Sim2Real 迁移，作为可扩展的数据引擎替代物理遥操作。

实验

实验设计

• 在多种双臂灵巧操作任务上验证数字遥操作范式的有效性，任务涵盖抓取、交接、工具使用等。
• 使用 RynnWorld-Teleop 为每个任务从单张参考图像生成大规模合成轨迹（视频 + 姿态流），动作通过具身无关的骨骼姿态定义，可跨机器人重定向。
• 训练行为克隆策略仅用生成数据，评估在真实机器人上的零样本 Sim2Real 迁移成功率；同时将生成数据混入真实数据集，观察性能变化。
• 生成过程采用渐进式人-机器人训练和流式自回归蒸馏，确保高帧率和一致性。

关键发现

• 纯生成数据训练的策略在未见过的真实场景中实现了有效的零样本 Sim2Real 迁移，多项任务成功率远超随机基线。
• 将数字遥操作数据作为增强数据加入真实训练集，所有任务上的成功率一致且显著提升，验证了数据引擎的实用性。
• 系统在单个 H100 GPU 上通过单步推理达到 40+ FPS，支持实时交互式远程操控，对比传统的多步扩散模型速度提升巨大。
• 深度感知骨骼条件和渐进式训练策略是生成高质量、可控制视频的关键，消融实验证实两者缺一不可。

与基线对比

• 相比物理遥操作，RynnWorld-Teleop 完全解耦硬件，数据采集不受场地、机器人、时间限制，能够指数级扩展数据规模，同时自动获得精确的动作标注，省去人工后处理。
• 相比传统仿真引擎（如 Isaac Sim），生成图像的纹理多样性和光照随机性更贴近真实世界分布，有效缩小 Sim2Real 差距；而与基线视频生成模型相比，本工作的蒸馏架构解决了自回归漂移问题，保证长时序一致性。
• 在数据效率上，仅需一张参考图即可生成无限条多样化轨迹，对比需要费力构建数字孪生的仿真器，部署成本显著降低。

行业影响

落地场景

RynnWorld-Teleop 的核心价值在于通过生成式世界模型将遥操作数据采集从物理硬件解耦，直接服务于 机器人模仿学习的数据供给。典型落地场景包括：

• 机器人操作训练平台：为仓储拣选、装配、服务机器人等提供海量多样化的视觉-动作轨迹，无需反复部署真实机械臂。
• 仿真测试与验证：替代传统仿真器中昂贵且难以维护的资产构建，用单张参考图即可生成高保真交互视频，加速策略评估。
• AR/VR 遥操作界面：操作者的手势流实时驱动数字孪生，所见即所得，可快速迭代任务设计。

商业价值

• 降本 (Cost Reduction)：将数据采集从“小时级/任务”压缩到“秒级生成”，省去大量机器人机时、场地占用和操作人员培训成本。以训练一个灵巧手操作策略为例，传统遥操作需 100+ 小时人工，数字遥操作可缩短 90% 以上时间。
• 增速 (Speed to Market)：40+ FPS 的流式生成允许开发者实时交互并即时获得训练数据，使机器人技能迭代周期从周级降为天级，大幅加快产品落地。
• 体验提升：生成数据自带流畅且语义一致的动作标签，零样本 Sim2Real 迁移能力避免了繁琐的现实调参，提升最终策略在真实世界中的成功率。

与现有产品/工作流的接口

• 可作为 数据增强插件 嵌入主流模仿学习流水线（如 Robomimic、ACT、Diffusion Policy），直接输出 < image_t, action_t > 对，与真实采集数据混合训练。
• 兼容标准机器人中间件（ROS 2），通过流式 API 将生成的视频流与动作指令发布为话题，现有运动规划与控制器可直接订阅。
• 与 数字孪生平台（如 NVIDIA Omniverse）互补：RynnWorld-Teleop 负责生成视觉观察，Omniverse 提供物理仿真验证，形成“生成-验证”闭环。

具体落地用例

• 电商仓库拣选：利用历史场景图像作为参考，操作者远程描绘抓取轨迹，实时生成对应视角的拣选视频与末端位姿序列，训练泛化抓取策略，无需频繁进入真实仓库调整硬件。
• 医疗手术机器人培训：给定内窥镜参考图像，医生手势流驱动生成手术器械操作视频，合成大量带动作标签的训练数据，用于术前规划与新手技能训练，避免使用昂贵的手术模拟器或动物实验。

局限

• 依赖高质量手部跟踪与参考图像：**RynnWorld-Teleop** 的生成质量对口部输入精度高度敏感，当手部被遮挡或光照剧烈变化时，合成的视频帧可能出现伪影或不连贯，这会直接降低所收集演示数据的可用性。论文主要在受控实验室环境下评估，未深入讨论在嘈杂、多变的真实场景中的鲁棒性，对于广泛部署构成挑战。
• 缺乏物理交互反馈与动态建模：数字遥操作完全基于视觉仿真，不提供力觉或触觉反馈，对于需要精细接触力控制的任务（如精密装配、插拔）生成的策略在迁移到真实机器人时可能失效。此外，生成视频所隐含的物理定律（碰撞、摩擦、形变）由视频扩散模型隐式学习，其一致性和准确性仍逊于经典物理引擎，导致学到的行为可能在真实物理世界中暴露未建模的动力学差异。