超越模仿：基于推理进展的 On-Policy Distillation 过滤

TL;DR R2-OPD 在 online 蒸馏中对比教师奖励与独立推理进展排名，屏蔽两者冲突的 token 级监督，缓解教师偏差并一致提升推理性能。

问题

问题背景

当前 LLM 后训练中，on-policy distillation (OPD) 已成为主流：让学生模型在自生成轨迹上接收教师模型的 dense token-level 监督，高效提升推理能力。

现有方法局限

标准 OPD 隐含假设 teacher-derived rewards 是 reasoning progress 的可靠代理，并对所有教师反馈一视同仁。但这一假设不成立：教师奖励主要基于生成内容与教师输出的相似度，而非推理步骤是否真正推进解题。因此，某些具有明确推理进展的文本 span 可能因偏离教师表达而获得低奖励，而低质量但贴近教师分布的 token 反而获得过高权重。这种奖励-进展错配 会误导策略优化，学生模型倾向于模仿表面风格而非学习有效推理。

为什么难/重要

核心挑战在于：不依赖额外人工标注，独立估计每个推理 span 的进展奖励，并与教师奖励进行 within-trajectory ranking 比较。推理步骤间存在复杂依赖，进展奖励需借助 process reward 估计（如基于 rollout 的 solve-probability），而排名不一致检测和选择性掩码需平衡噪声过滤与有效教师信号保留。若过度抑制，会降低蒸馏效率；若放任冲突，则奖励信号不可靠。业界对推理模型可靠性要求提高，奖励信号准确性直接影响 RL 策略优化上限。

行业类比

类似代码补全工具中，若只按与参考代码的匹配度评价补全片段，却忽略其是否真正推进功能实现，模型会学到表面相似但逻辑错误的补全。

核心洞察

• 核心洞察：on-policy distillation (OPD) 中教师派生奖励并不总是真实推理进展的可靠代理，而 R2-OPD 通过构造两个轨迹内排序来显式检测冲突并选择性地过滤。 这一视角区别于以往将教师 token 级奖励视为 ground truth 或仅做简单加权的方法：R2-OPD 引入独立估计的 progress reward，与教师奖励形成交叉验证，只在不一致处抑制监督。它保留了教师有效引导，同时避免惩罚偏离教师输出但推理有进展的合理步骤，从而更精准地对齐策略优化目标。
• R2-OPD 用轨迹内相对排序而非绝对奖励值来检测教师信号与推理进展的不一致，使过滤机制对奖励尺度和噪声不敏感。 与依赖固定阈值或绝对奖励裁剪的方案相比，排序一致性仅在教师判断和进展估计在局部步骤上出现分歧时才触发抑制，避免了全局尺度校准问题。这种设计更聚焦于步骤间的相对进展，更适合长轨迹推理中奖励分布漂移的场景，因此能在多个推理任务上稳定提升。

方法

输入与问题设定

R2-OPD 应用于 on-policy distillation (OPD) 流程，输入为 student 模型生成的 on-policy 轨迹（reasoning spans）以及 teacher 模型提供的 token 级蒸馏奖励。标准 OPD 隐式假设 teacher 奖励总是真实推理进展的代理，但实际中由于 student 偏离 teacher 输出，高进展步骤可能获得低奖励，造成监督冲突。

关键模块

1. 双重排序构建：对每条轨迹划分 reasoning spans，分别构建两个排名：
   • Teacher-derived ranking：基于 teacher 蒸馏奖励（如 KL 散度或 logits 匹配）对 span 排序；
   • Progress reward ranking：基于独立估计的 progress reward（如结果监督或过程奖励模型）评估每个 span 对推理进展的贡献。
2. 冲突检测与掩码：引入 rank-based conflict detection and masking，比较两个排名，对排名不一致的 span 施加 mask，抑制其蒸馏损失权重。
3. 噪声抑制：采用 sign-consistent merging 合并符号一致的邻近 span，减少排名噪声，提升冲突检测的鲁棒性。

输出与优化

过滤后的 token 级蒸馏奖励用于 policy optimization（如 PPO / GRPO）更新 student，保留 teacher 有效指导的同时移除与推理进展相悖的监督信号。

与标准 OPD 对所有 teacher 反馈同等对待不同，R2-OPD 通过引入独立 progress reward 作为校准参照，实现选择性监督抑制，更关注推理进展一致性。

实验

实验设计

论文在多个推理任务基准上评估 R2-OPD，采用 on-policy 蒸馏框架：学生模型生成推理轨迹，教师模型提供 token 级蒸馏奖励；同时独立估计 progress reward，构建两个 within-trajectory rankings。通过 rank-based conflict detection 检测两个排序的不一致区域，并对冲突的教师奖励进行抑制，保留有效监督。实验对比标准 OPD 基线，并考察不同 masking ratio 和 sign-consistent merging 的影响。

关键发现

观察到教师奖励与真实推理进展存在冲突：某些推理步骤虽有明显进展，但因偏离教师输出而获得较低奖励。R2-OPD 通过排序对齐选择性抑制冲突奖励，在多个推理任务上取得一致提升，尤其在复杂推理场景下改善明显。

与基线对比解读

标准 OPD 将教师奖励视为推理进展的代理，对所有反馈一视同仁，导致部分误导性监督。R2-OPD 引入独立的 progress reward 估计并进行排序比较，有效滤除与进展矛盾的教师信号，同时保留与进展一致的指导，从而在不牺牲有效知识蒸馏的前提下提升推理性能。

行业影响

落地场景

R2-OPD 面向推理型大模型的后期训练/对齐阶段，适合需要逐步推理与可解释过程的产品：

• 教育解题助手：逐步给出数学/物理/编程解题过程，要求步骤逻辑严谨，避免跳步或错误推理链；
• 代码生成与调试工具：如 Copilot 类产品，模型需生成可解释的修复方案与推理链；
• 金融分析报告生成：自动生成投资逻辑、归因分析，对推理连贯性敏感；
• 企业知识库问答：多跳推理场景，答案可追溯，需抑制与真实推理进展冲突的监督信号。

商业价值

• 降本：通过过滤冲突的教师信号，减少无效梯度更新，加快收敛，同等效果下可降低训练算力与时间成本；
• 增收/体验提升：提高推理准确率和一致性，减少错误步骤导致的用户流失，支撑高价值场景（如教育订阅、企业服务 SLA）；
• 差异竞争：在同等参数量下获得更强推理性能，或使更小模型达到大模型效果，利于边缘部署与 API 成本控制。

与现有工作流集成

R2-OPD 可作为插件式 reward filtering 模块，嵌入现有 OPD 或 RLHF 训练栈：

1. 在 student 生成轨迹后，计算 token-level 教师蒸馏 reward；
2. 独立估计进展奖励（可用 rollout 正确性概率、step-wise verifier 或专门 progress reward model）；
3. 对每个训练样本，构建两种 reward 的排名序列，比较一致性；不一致的 token 段（segment）被 mask，蒸馏损失置零；
4. 其余部分正常反向传播。

现有 HuggingFace TRL / DeepSpeed 等框架中，只需替换损失计算环节即可，无需重构数据管线。

局限

• 该方法高度依赖独立估计的 **progress reward** 质量。论文中通过过程奖励模型或 rollout 的 solve-probability 估计获得进度信号，若该估计存在偏差或噪声，会导致 rank-based conflict detection 误判，从而错误抑制有效的 teacher 信号或保留与真实 progress 冲突的奖励。论文虽提出 sign-consistent merging 降噪，但对 progress reward 准确性仍然敏感；且不同任务（代码生成、agent 规划等）中 progress 的定义与估计难度差异大，可迁移性尚未验证。
• 实验主要在数学推理任务上验证，基于 Qwen2.5、Qwen3、DeepSeek 等特定模型组。对于更广泛的任务类型（长文本生成、多轮对话、具身决策），reasoning progress 的刻画可能不同，当前的分段、边界匹配和 solve-probability 估计策略未必适用。此外，引入额外的前向过程和进度奖励计算会带来训练时的计算开销，论文未详细报告与标准 OPD 相比的额外成本，实际部署需在收益与开销间权衡。
• 方法中 masking ratio 是关键超参数，论文虽有敏感性分析，但最优值可能随数据集、模型和任务变化，需要额外调参成本。同时，filtering 基于 within-trajectory 的排名比较，当 trajectory 较短或推理步骤较少时，样本量不足以进行可靠的排名统计，可能限制其在需要长链条推理的任务中的效果，或需要更复杂的自适应机制。