面向零样本 Sim-to-Real VLA 增强的 Object-Centric Residual RL

TL;DR 对象中心残差 RL 框架以物体位姿为观测，消除仿真到现实的视觉域差，实现零样本迁移，将真实机器人操作成功率从 42% 提升至 76%。

问题

问题背景

Vision-Language-Action (VLA) 模型 凭借大规模预训练在多种操作任务中展现出令人瞩目的泛化能力，但其基于 模仿学习 (imitation learning) 的策略在面对需要精确物理交互的任务（如高精度插入、动态约束操作）时，常因复合执行误差 (compounding execution errors) 而失败，严重制约其在真实世界部署的可靠性。

现有方法局限

为提升 VLA 的鲁棒性，残差强化学习 (Residual RL) 提供了一种自然的增强范式：在冻结的 VLA 策略之上学习一个修正策略。然而，现有方案陷入典型的 sim-to-real 困境：

• 特权状态方法（如基于仿真物理参数）训练出的策略必须通过有损的蒸馏或域随机化部署，丢失了精细修正能力；
• 图像端到端方法 直接使用视觉输入，但仿真与真实图像间的视觉域差距 (visual domain gap) 导致策略迁移后性能大幅下降；
• 真实世界在线 RL 虽可规避域差异，但面临成本高昂、安全性差及数据效率低下等根本障碍。

因此，如何在保留紧凑且跨域一致的观测空间的同时，实现零样本 sim-to-real 迁移，成为关键瓶颈。

技术挑战与重要性

该问题难在需要同时满足三个条件：

1. 观测空间能捕捉任务关键物理状态（如物体位姿），且在不同域间保持一致性；
2. 训练过程必须高度鲁棒，应对真实传感器噪声和遮挡；
3. 迁移时无需任何真实环境微调或蒸馏。

其重要之处在于，一旦突破，便能以极低成本将 VLA 的泛化能力与 RL 的交互优化能力结合，使机器人操作策略从“能执行”进化到“可靠执行”，这对工业自动化、家庭服务机器人等长尾任务具有直接推动意义。业界正急切寻求无需额外真实数据即可提升部署成功率的方法。

类比启示

类似 LoRA 等参数高效微调方法在 LLM 中注入新知识，该工作可视为在动作空间为 VLA 附加一个“物理交互适配器”，但挑战从数字域转至物理世界，要求修正策略必须在仿真中习得并跨域保持有效性。

核心洞察

• **以物体姿态作为残差策略的观察空间，绕开了视觉与控制域之间的分层 gap，实现了紧凑且无损耗的 sim-to-real 零样本迁移。** 与基于特权状态（需要知识蒸馏部署）或视觉输入（受仿真-真实纹理、光照差异影响）的残差 RL 方案不同，物体姿态（object poses）在仿真和现实中是对齐的、低维的跨域表示，既避免了蒸馏带来的信息损失，也无需依赖易错位的视觉编码器，使得在仿真训练的策略可以直接部署到真实机器人，显著提升在精细物理交互时的鲁棒性。
• **通过仿真中重放遥操作演示来训练 sim VLA，创造出与真实 VLA 行为一致的“数字孪生基底”，为残差 RL 提供了零样本迁移的必要条件。** 这项工作不是直接对真实 VLA 添加残差，而是先在仿真中构造一个行为高度匹配的 sim VLA（利用同样的演示数据），让残差策略在仿真中学习如何补充 sim VLA 的不足，再零样本迁移到真实 VLA。这种对齐方式解决了以往残差 RL 方法中真实策略与仿真策略角色不一致的难题，确保仿真中学习的修正具有跨域有效性。
• **残差 RL 提升的 rollout 可被重新用于微调原始 VLA，形成自举式的自我改进闭环，而无需额外人类遥操作。** 在传统模仿学习框架中，提升模型通常依赖昂贵的新数据采集；本文的工作表明，利用仿真训练的高成功率策略生成的成功轨迹（原本 VLA 失败的任务），可以作为下一个训练轮次的示范，使 VLA 的操控能力自动迭代增强，为 VLA 的持续进化提供了可行范式。

方法

方法总览

本框架分三个阶段将残差强化学习 (Residual RL) 引入 VLA 模型，在不修改原始策略的前提下，通过仿真训练的校正策略提升真实世界操作的鲁棒性。核心思路是用物体中心姿态观测作为 sim 与 real 之间的一致中间表示，避免视觉域差异和特权状态蒸馏。

1. 构建配对的 Sim/Real VLA

在仿真中精确复现真实机器人的操作场景，并重放相同的遥操作演示数据训练一个仿真 VLA (π_sim)。该仿真 VLA 的行为与真实 VLA (π_real) 高度对齐，为后续残差 RL 提供一个行为一致的基策略。真实 VLA 被冻结，仅作为黑盒动作生成器。

2. 物体中心残差 RL 训练

• 观测空间：仅使用场景中关键物体的 6D 位姿（位置 + 方向）作为策略输入，形成紧凑的物体中心表示。该表示在仿真与现实中可一致获取（通过物体检测与位姿估计），天然满足零样本迁移条件。
• 动作输出：残差策略 (π_res) 输出动作修正量，与当前 VLA 原始动作相加后得到最终执行动作。策略网络通常为轻量 MLP。
• 鲁棒性训练：在仿真训练时对物体姿态注入高斯噪声和随机丢弃 (dropout)，模拟真实感知的不确定性，使策略学会容忍噪声甚至缺失。
• 优化目标：使用 PPO 等强化学习算法，奖励函数结合任务成功（如物体到达目标位姿）和动作平滑项。所有训练仅在仿真中进行，无需真实机器人交互。

3. 零样本部署与自改进

训练好的 π_res 直接部署到真实机器人，接收物体姿态估计和 VLA 原始动作，实时输出校正动作。由于观测空间跨域恒定，无需额外蒸馏或微调。此外，成功率提升后的 rollout 数据可被收集，重新训练基础 VLA 实现自我提升，进一步放大增益。

与同类方法的差异：现有 Residual RL 要么依赖图像观测（受制于视觉域 gap），要么使用仿真特权状态（部署时需有损蒸馏）。本工作通过物体中心姿态观测 在观测空间层面统一了 sim 与 real，首次实现 VLA 的零样本 sim-to-real 残差校正，兼具高效与安全。

实验

实验设计

• 测试平台：真实 Franka Research 3 (FR3) 机械臂，执行五项操作任务（如抓取、插入等）。
• 基线：冻结的 VLA 模型（基于模仿学习）直接输出动作；提出方法在此基础上增加 Object-Centric Residual RL 修正策略，仅在仿真中训练。
• 仿真构建：通过回放遥操作演示在仿真中训练 VLA 的副本，同时注入姿态噪声与随机 dropout 增强鲁棒性。残差策略观察物体位姿（位置+四元数），输出动作修正量。
• 评估：零样本迁移至真实机器人，记录成功率；改进的 rollout 用于自我改善实验，无需额外遥操作。

关键发现

• 成功率跃升：平均成功率从基线 42% 提升至 76%，相对提升约 81%。
• 域泛化关键：姿态噪声注入与 dropout 是缩小 sim-to-real 差距的核心（消融实验证实）。
• 自我改善循环：残差 RL 产生的优质 rollout 可回训基座 VLA，形成正向飞轮。
• 紧凑观察空间：仅依赖物体位姿，规避了特权状态方法所需的蒸馏步骤与基于图像方法的视觉域隙。

与基线对比解读

• VLA 脆弱性根源：模仿学习策略因动作误差累积导致长期任务失败；残差 RL 以闭环方式持续纠偏，克服开环缺陷。
• 相比于特权状态方法：此类方法通常需在部署时蒸馏为视觉策略，存在信息损失；本方法从设计上即使用可迁移的位姿观察，零样本部署无需适配。
• 相比于基于图像的方法：图像域差距难以完美对齐，而物体位姿通过噪声建模后更一致，转移稳定性更高。
• 工程落地启示：物体位姿可通过现成检测/跟踪模型获取，易于集成到现有 VLA 管线；仿真训练仅需回放已有演示，数据效率高。

行业影响

落地场景

基于物体姿态的残差 RL 框架可直接嵌入机器人操作产品线，尤其适用于物流分拣、精密组装、服务机器人等需要高精度物理交互的场景。由于训练完全在仿真中完成，真实部署无需费力采集真实机器人交互数据，极大缩短从实验室到产线的周期。

商业价值

• 降本：避免真实环境 RL 训练的高昂成本与安全风险，仅需少量遥操作示教即可构建仿真对标环境；
• 增效：将基础 VLA 模型成功率从 42% 提升至 76% 零样本迁移，并可通过成功的 rollout 自提升基础模型，形成数据飞轮；
• 体验提升：机器人动作更稳健，减少卡顿与失败复位，提升产线节拍。

与现有产品栈的接口

该方法作为即插即用的纠正层叠加于现有 VLA（如 RT-1、Octo 等）输出之上，无需修改原始模型。实际集成时，只需在机器人控制回路中串行注入残差动作：感知模块提供物体 6D 位姿，残差策略根据位姿与 VLA 提议动作输出修正量。可与现有 ROS 2 生态、AnyGrasp 等抓取检测管线无缝对接。

具体落地用例

1. 电商仓储自动化：面对 SKU 海量、频繁换产的环境，仅需少量示教，即可让机器人完成新物体的精准抓取与放置，残差 RL 补偿视觉歧义导致的抓取偏移，降低每次换产的重训成本。
2. 汽车零部件装配：在发动机活塞安装等高公差场景中，基础 VLA 难以处理亚毫米级对准，物体中心残差策略可实时微调末端轨迹，显著降低废品率。

该工作将 sim-to-real 难题在残差空间内化解，使得任何依靠模仿学习的 VLA 模型都能获得强化学习的鲁棒性，且保持零样本迁移能力，具有极强的工程复用价值。

局限

• **依赖精确的对象姿态估计**：方法以对象中心位姿作为观察空间的核心，虽然提升了 sim-to-real 一致性，但严重依赖实时且准确的姿态估计。论文提及在严重遮挡或透明/反光物体场景中这一假设会失效，现实部署时需额外集成鲁棒的位姿追踪模块，否则残差策略可能输出错误修正。
• **奖励设计的手工依赖性**：每个任务都需要人工设计奖励函数（如基于夹爪与目标物体的距离、成功抓取信号等），泛化到新任务时成本较高。相比依赖稀疏奖励或通用奖励的方法，该方法在多任务、长序列操作场景下可扩展性受限，且文中未展示对复杂、多阶段行为的奖励设计范化能力。
• **任务复杂度与实验广度局限**：当前在 5 个相对短程的桌面操作任务上验证，未涉及更长时域、需复杂接触推理或动态环境交互的任务。此外，尽管展示了跨 VLA 架构的泛化，但基座 VLA 仍来自同构的模仿学习范式，与更先进的在线 RL fine-tuning 或模型基方法的组合效果尚不明确。