机器人学习中的进度奖励建模：综合调查

TL;DR 本综述首次统一机器人学习的进展奖励建模视角，从接口、方法与评估三个维度系统梳理现有工作，为不同方法的比较与验证提供了共享框架，填补了领域空白。

问题

机器人学习中的进度奖励建模问题

背景
机器人学习环境动态复杂且行为空间巨大，仅依赖终端稀疏奖励会严重拖慢探索效率。因此，在任务执行中提供密集的进度奖励 (progress reward) 以实时引导策略，成为近年来的研究热点。

现有方法局限

• 接口碎片化：不同方法在观测形式 (RGB、点云、本体感知)、目标指定 (语言、图像、状态向量)、输出信号 (连续值、离散阶段、剩余时间) 和监督来源上差异显著，缺乏统一的问题抽象，导致无法横向对比。
• 评估割裂：有的工作侧重进度估计的准确性，有的只关注下游策略的最终成功率，且各自采用自建基准，使得技术贡献难以累积与验证。
• 可解释性缺失：多数模型为黑箱，无法说明为何输出特定进度值，在需要安全决策的场景中难以信任。

为何该问题既难又重要

1. 语义与感知的鸿沟：进度是高层语义概念，模型只能从原始传感数据中推断，需要滤除大量无关变化。
2. 强泛化要求：进度模型必须在全新环境、实例和视觉条件下保持鲁棒，这与当前大模型追求 zero-shot 泛化的趋势高度一致。
3. 跨具身迁移：同一语义任务 (如“开抽屉”) 在不同机器人上的进度表征应相通，但现有工作多局限于单一平台。
   因此，一个结构化的进度模型不仅能加速策略学习，更是实现通用机器人智能的关键组件。

行业类比
这一问题与自动驾驶中的中间奖励设计类似，本质是在学习一个无需密集人工标注的潜在进度测度，与强化学习的内在动机 (intrinsic motivation) 和好奇心驱动等技术脉络紧密相连。

核心洞察

• **进展奖励需要标准化接口与评估协议**：当前领域内各方法对观测、目标描述、输出信号的定义五花八门，导致实验结论无法横向对比。该综述首次提出“接口-方法-数据与基准”的三维统一框架，从外到内厘清了进展模型的设计空间，为后续研究提供了可复用的理论锚点。
• **从手工奖励到语义感知的自动奖励生成是根本趋势**：早期工作依赖启发式或程序化规则，泛化能力弱；近期利用冻结视觉-语言模型或时序对比学习自动构建奖励，能捕捉任务进度中的语义变化。综述系统梳理了这些方法背后的监督信号来源（人工、人机协作、全自动）及其评估侧重（保真度、鲁棒性、下游效用），揭示了自动构造进展奖励的核心挑战在于如何在没有真实进度标签的情况下仍能提供密集且对齐的反馈。

方法

输入与接口定义

进度奖励模型的输入接口包含两部分：任务状态表征 与 目标规格。状态可来自视觉观测（RGB图像、深度图）、本体感知（关节角度、末端位姿）或对象状态（6D位姿）。目标规格形式多样，可以是自然语言指令、目标图像或目标状态向量。模型输出是一个标量进度信号，表示当前行为相对于任务目标的完成程度，常见形式为连续值奖励或离散进度阶段标签。

关键建模方法

论文将现有方法归纳为四类范式：

• 冻结基础模型评分：直接使用预训练的大规模视觉-语言模型（如 CLIP、ViLD）作为语义评分器。给定当前观测与目标描述，计算两者的嵌入相似度作为进度奖励。该方法无需额外训练，但依赖模型对任务语义的零样本对齐能力。
• 时序与相对监督学习：利用轨迹中的时序结构构造训练信号。例如，从成功演示中提取状态对，标记先后顺序，训练一个排序网络（如 Bradley-Terry 偏好模型）输出相对进度分数；或使用对比学习拉近相邻时间步的表示，使奖励随任务进展单调递增。
• 指令调优进度预测：将进度估计建模为指令完成度预测问题。在人类标注的“指令-完成百分比”数据上微调多模态大模型，使其直接输出0~1的进度值。这种方法天然融合语言理解与视觉感知，适合长时序、子任务丰富的操作。
• 程序化奖励构建：通过规则引擎或符号AI，基于状态变化硬编码进度检测逻辑。例如检测物体是否被抓起、门是否打开到指定角度。该方法解释性强、无需数据，但泛化性受限于预设规则。

输出与下游集成

生成进度奖励后，通常作为密集奖励函数注入强化学习（RL）策略训练，替代稀疏的成功信号。为应对奖励噪声，部分方法引入置信度校准或集成多个进度模型投票。

与同类稀疏奖励或手工塑形奖励的差异在于：进度奖励建模通过结构化接口将“任务理解”与“策略优化”解耦，使奖励来源具备可复用的语义知识，而非仅依赖环境特定的状态检查。

实验

本 survey 本身未进行新的实验，而是对现有进度奖励模型工作进行系统性梳理。文章从接口、方法、数据与基准三个维度构建统一视角，分析了不同模型在输入（状态、目标规范）和输出（进度信号类型）上的设计选择，并对比了冻结基础模型评分、时序相对监督学习、指令微调进度预测、程序化奖励构造四类方法的机理与假设。

关键发现包括：当前多数评估仅衡量进度保真度（progress fidelity），但缺少对鲁棒性、跨任务泛化及下游策略性能的系统化分析；不同方法对监督信号的依赖方式差异巨大，从纯人工标注到全自动构造，导致实验不可比。文章指出，急需标准化基准来统一度量进度奖励质量，并建议未来工作关注开放世界、长周期任务中的进度估计，以及如何让进度模型在训练过程中自适应更新。

由于缺乏统一框架，现有方法的结果更像各自证明概念，而非真正对比优劣。例如，利用大模型打分的方法在语义丰富场景中表现灵活，但计算成本高且可能不稳定；基于时序比较的方法需要精心设计对比样例；程序化方法依赖人工规则，泛化性有限。该综述为后续研究者提供了清晰的分类地图与实验设计指导。

行业影响

落地场景

进度奖励建模（Progress Reward Modeling）直接赋能机器人强化学习与模仿学习的训练流程，尤其适用于需要密集反馈的多步骤操作任务。典型场景包括：

• 仓储与物流：移动操作机器人执行分拣、装箱、拆垛等任务，进度信号可加速策略收敛，降低掉件与损坏率。
• 精密装配与制造：双臂协作完成螺丝拧紧、线束插接等，高频率的进程反馈提升动作稳定性与成功率。
• 家用服务机器人：整理桌面、叠放衣物等长序列任务，进度奖励避免策略陷入局部停滞，提升任务完成率。
• 仿真到现实迁移（Sim-to-Real）：在仿真环境中使用进度奖励训练的策略，可更平滑地迁移到真实硬件。

商业价值

• 降本：大幅减少人工设计奖励函数所需的专家时间，以及因稀疏奖励导致的试错训练成本。训练轮次通常可压缩 30%-50%。
• 增效：机器人更快习得新技能，支持小批量、多品种的柔性生产，提升资产利用率。
• 体验提升：面向服务场景，进度奖励让机器人行为更连贯、更可预测，减少用户等待时的“停滞感”，提高接受度。

与现有产品/工作流的接口

进度奖励模型以即插即用的奖励模块形式集成：

• 强化学习框架：作为 reward_fn 替换原有的稀疏奖励或手工势函数，直接嵌入 Stable-Baselines3、RLlib 等标准库。
• 具身大模型（VLA）：搭配 RT-2、Octo 等通用策略，利用其视觉语言理解能力输出任务进度估计，构成 VLM as progress scorer 的流水线。
• 数据标注管道：可融入现有的人类反馈强化学习（RLHF）或偏好标注平台，生成带时间维度的相对进度标签，降低人工标注粒度要求。

典型用例

1. 电商仓储机器人：在货架间移动并抓取商品放入周转箱。利用进度奖励，机器人能快速学会稳定抓取点选择与动作序列优化，避免退回或反复调整。结合现有视觉检测系统（如物品 3D 坐标、夹爪开度），进度模型作为轻量附加模块，训练周期从数周缩短至数天。
2. 汽车总装线双臂拧螺丝：任务包含接近、对准、旋入、拧紧多个阶段。进度奖励为每个子阶段提供连续反馈，帮助策略从仿真高效迁移到真实产线，减少对高精度力矩传感器的依赖，实现鲁棒的触觉-视觉融合操作。

局限

• 作为综述，本文未提供任何新的实证结果或方法，无法通过定量实验对比不同 progress reward 建模技术的优劣，仅依赖已发表文献的定性归纳，难以给出孰优孰劣的明确指导。
• 由于该领域缺乏标准化的基准与评估协议，本文提出的统一框架虽然在概念上梳理了接口、方法与评估三部分，但未能解决各工作因实验设置、任务定义和指标不一致而导致的不可比问题，读者仍然难以横向判断不同方法的相对性能。
• 文章聚焦于“进度奖励”这一细分方向，未深入讨论其与通用奖励设计、内在激励或分层强化学习等密切相关领域的交叉与互补，限定范围可能使读者低估其他奖励塑造方法在机器人学习中的潜力。