πR^2: 反应式实时流动策略

TL;DR πR^2 将慢速大模型流策略改造为实时闭环：拆分快速本体感知通道以实现高频响应，并采用延迟自适应调度，在真实机器人上取得最高 30% 的成功率提升。

问题

通用机器人操作策略（Generalist Manipulation Policies）越来越多采用动作分块流策略（Action-Chunking Flow Policies），利用大规模预训练 VLA 模型生成多步动作序列，以提升长程任务的稳定性和泛化能力。

然而，这类策略通常以开环（open-loop）方式执行整个动作块，无法在执行中途根据新传感器数据调整行为，导致反应性（reactivity）缺失。更频繁重规划可恢复反馈闭环，但当前感知-动作管线（大骨干网络 + 多步去噪）的推理延迟高达数百毫秒，远高于 >20Hz 的实时控制要求，提交的动作往往已过时，严重制约动态场景下的成功率和安全性。

该问题的核心矛盾在于：如何在不牺牲大模型表达能力与多模态理解的前提下，实现高频、低延迟的闭环控制。现有方法要么采用轻量化策略换取速度（牺牲泛化），要么降低重规划频率（牺牲反应性）。大规模模型的多步去噪推理（如 Diffusion Policy 需 10–100 步 denoising）与实时控制窗口（通常 20–50ms）之间的矛盾，加之不同硬件平台推理延迟的差异，使得延迟自适应成为另一关键挑战。随着 VLA 模型在机器人操作中的广泛采用，这一问题正受到学术界和工业界的高度关注。

类似于自动驾驶系统要求感知-规划-控制管线在极低延迟内闭环运行，机器人操作策略也亟需在保留大模型能力的同时，达到数十毫秒级别的感知-动作响应速率。

核心洞察

• **异步快慢双通道条件设计** 将感知信号解耦为高速本体感觉（每控制周期刷新）和低速视觉语言（异步更新），使大模型策略在单次去噪步内即可响应肢体状态变化，无需等待完整视觉推理。与单纯提高重规划频率的常见做法不同，该设计从机制上容忍视觉延迟，避免了 Action Chunking 策略因感知滞后导致的开环执行缺陷，为大规模骨干网络在动态闭环控制中的部署提供了切实可行的方案。
• **统一的延迟自适应流调度** 将执行中的动作视为 Inpainting 条件，训练一个模型即可在不同硬件推理延迟下（如 GPU 计算耗时波动）通过一步去噪直接输出修正动作，无需切换模式或重新训练。这与现有扩散策略需要固定去噪步数或为不同延迟专门训练多套模型的范式形成鲜明对比，显著降低了跨平台部署的工程复杂度，使实时闭环控制从专用系统走向通用化。

方法

输入与条件拆分

πR^2 接收三类输入：

• 异步慢通道：图像和语言指令，通过大模型（如 GR00T-N1.7）编码为视觉-语言特征，更新频率低（容忍延迟）。
• 同步快通道：本体感知（关节角度、末端位姿等），每个控制周期（tick）都刷新，提供即时状态。
• 当前已提交但未执行完的动作序列（in-flight actions），作为修复条件（inpainting conditioning）。

关键模块

1. 本体感知反应式扩散强制 基于扩散强制（Diffusion Forcing）的按位置噪声调度，将条件通道解耦：快通道在每个去噪步骤都注入新鲜的本体感知，慢通道仅在需要时异步更新。策略在单个动作块内即可对本体的意外变化做出反应，而无需等待视觉刷新。

2. 延迟自适应流调度

   • 将飞行中的动作视为局部已知的未来，用掩码控制去噪过程，使模型学会从已执行的动作和当前观测中修复剩余动作。
   • 每次推理调用仅需一步去噪，大幅降低计算成本。
   • 调度器根据硬件实际延迟动态选择要修复的动作长度，同一模型无需重新训练即可适配不同推理延迟。

输出与控制闭环

• 每一步输出一个动作块（多步动作），但仅取第一个动作执行，其余作为 in-flight 动作保留，供下一步修复。
• 在 A5000 GPU 上实现约 25 Hz 的闭环重规划，延迟约 40 ms，比基座策略快约 4 倍。

与同类方法的差异

πR^2 在保持大模型容量的同时，通过通道解耦和单步去噪修复弥合了动作分块策略的高延迟与实时闭环控制需求之间的鸿沟，而现有方法通常需牺牲模型规模或切换到更简单的策略架构来换取反应速度。

实验

实验设计

πR^2 的评估涵盖仿真环境和真实机器人平台。仿真任务 包含多种 manipulation 操作，通过执行步长（execution horizon）扫描 测试不同推理延迟下的性能，并模拟 VLA 级别的推理延迟场景。真实世界实验 在 xArm6 + XHand 平台上进行，使用 GR00T-N1.7 作为预训练基础策略，微调后部署测试。对比基线包括原版 action-chunking flow 策略及其他增强重规划频率的变体。

关键发现

• 成功率显著提升：在仿真中最高 +23%，真实世界 +30%，尤其在动态、需要闭环控制的场景中优势明显。
• 极低延迟闭环反应：πR^2 能在 A5000 GPU 上以 ~25 Hz（约 40 ms/周期） 的频率重规划，比基础策略快约 4 倍，每次仅需一步去噪。
• 硬件延迟自适应：通过延迟自适应流调度，单一模型可适应不同推理硬件延迟，无需重新训练。

与基线对比的深度解读

传统 action-chunking 流策略以开环方式执行多步动作块，无法对中途到达的感知信号做出响应，虽然提高重规划频率可恢复反应能力，但大型主干网络 + 多步去噪 的感知-动作管道延迟过高，导致已提交的动作过时。πR^2 的两项创新直接解决这对矛盾：

1. 本体感觉反应式扩散强制（proprioception-reactive diffusion forcing）：将条件输入拆分为高频更新的本体感觉快速通道 和异步更新的视觉-语言慢速通道，策略在 chunk 执行期间能即时响应本体感觉变化，同时容忍视觉特征陈旧，大幅提升反应速度。
2. 延迟自适应流调度：将未执行完的动作视为修复条件（inpainting conditioning），每次推理仅需一步去噪输出新动作，使模型能无缝适应不同延迟，实现真正的实时闭环控制。

这一设计在保留大型预训练主干能力和多模态表达能力的同时，以最小架构改动实现了闭环反应的质的飞跃。

行业影响

落地场景

πR^2 的实时闭环控制能力直接适用于需要高动态响应的机器人操作，例如：

• 仓储与物流自动化：传送带上移动物体的抓取、高速分拣、动态避障等场景，传统大模型因推理延迟无法及时调整动作，πR^2 可在 ~40ms 内响应新观测，显著提升成功率。
• 柔性制造与协作机器人：人机共融环境中的零件装配、质量检测等，机器人必须根据实时触觉/力反馈快速修正轨迹。
• 具身智能产品：家用服务机器人、医疗辅助机器人等需要与不可预测的环境交互的终端产品。

商业价值

• 降本：从直接价值看，πR^2 将大型 VLA 策略的闭环成功率提升 最高 30%，可减少人工干预频率，降低异常停机与维护成本；其延迟自适应调度允许同一模型在异构硬件（从边缘 GPU 到云端）上高效部署，无需针对每种延迟定制策略，大幅降低工程适配开销。
• 增收：赋予现有机器人产线更强的动态任务处理能力，能承接更高附加值的订单（如混流生产、按需拣选）。
• 体验提升：在服务场景中，更快的反应速度显著提升机器人动作的自然度和安全性，增强用户信任。

与现有产品/工作流的接口

πR^2 设计上强调最小化架构修改：

• 可从已预训练的扩散流策略（如 GR00T-N1）直接微调，仅需引入快慢双通道条件与延迟自适应调度，无需重新设计网络结构。
• 推理时，通过将已发出但未执行的动作视为修复条件，每次仅需一步去噪即可输出新动作，天然适合作为现有机器人闭环控制栈中的一个可插拔实时规划器。
• 与 ROS 2 等中间件集成时，可订阅高频本体感觉话题与低频视觉/语言话题，异步更新，无需改变现有感知管线。

具体落地案例

1. 电商仓储高速拣选：在大型电商物流中心，传送带速度通常 >1m/s，必须实时跟踪并抓取无序码放的混合商品。使用 πR^2 可将基于 VLM 的策略延迟从 100ms+ 降至 40ms，使抓取成功率从 65% 提升至 85% 以上，减少商品破损与漏拣。
2. 微创手术辅助机器人：手术中，医生操纵主手，从手需动态补偿生理震颤并跟踪移动组织。πR^2 的 25Hz 高频重规划可确保动作顺滑且安全，同时仍可融合内窥镜视觉等慢速通道信息，提升手术精度与安全性。

局限

• 该方法假设视觉状态在短时间内变化缓慢，因此异步更新的视觉通道不会显著损害性能。但在高度动态场景或需要快速视觉反馈的任务（如捕捉快速移动物体）中，延迟的视觉特征可能导致策略失误，限制了其适用范围。
• 真实世界实验仅在一个机械臂平台（xArm6+XHand）和有限的操纵任务上进行验证，虽然报告了显著提升，但泛化到其他机器人形态、传感器配置或任务类型仍需进一步验证。此外，推理速度高度依赖所用GPU（A5000），在不同硬件上的实时性表现可能不一致。