用 On-Policy Reverse Distillation 激发弱到强泛化

TL;DR On-Policy Reverse Distillation 让学生在学习弱教师时，沿教师策略偏移方向放大验证器驱动的策略梯度，从而用更少更新步数超越弱教师，且不限制自身能力上限。

问题

问题背景

弱到强泛化（weak-to-strong generalization）研究如何让更强的模型从较弱监督信号中学习并最终超越弱监督者。在多代模型迭代与多域能力整合中，从头进行 frontier-scale 后训练成本极高，复用弱教师模型成为关键手段。

现有方法局限

现有方法主要分为两类：

1. 传统蒸馏：将弱教师输出作为优化目标（如 KL 散度或交叉熵），学生被迫模仿教师分布，能力上限被教师容量限制，无法产生超越行为。
2. 基于 RL 的蒸馏：虽然引入 verifier（可验证奖励）信号，但通常将教师策略作为奖励项或正则项直接加入，导致教师偏好与 verifier 信号相互干扰；或采用 off-policy 数据（教师生成），学生缺乏对自身策略空间的探索，学习效率低。

论文中对比发现，直接优化教师策略偏移（weak policy delta）或使用教师离线数据，均不如在 on-policy 学生 rollout 上评估教师策略偏移，并沿该方向放大 verifier 支持的梯度。

为什么这个问题难/重要

核心难点在于：既要利用弱教师的前向知识加速早期学习，又要保持策略优化的不动点性质，确保学生最终能超越教师。这要求在数学上设计一种缩放机制，只放大与 verifier 一致的更新方向，同时不引入偏差。业界关注度源于：多代模型迭代、多专家模型整合、以及人类反馈质量有限时，弱到强泛化能显著降低重复后训练成本，是通向 递归自我改进 的关键环节。

行业类比

类似自动驾驶中，新模型从人类驾驶示范（弱教师）学习，同时利用模拟器安全信号（verifier）自我提升，无需每代重新收集海量专家数据即可迭代超越人类表现。

核心洞察

• OPRD 通过方向性放大而非目标模仿实现 weak-to-strong generalization。它不把弱教师输出作为优化目标，而是计算教师策略相对参考策略在 student rollouts 上的策略位移方向，并仅放大 student 的 verifier 梯度中与该方向一致的分量。与传统蒸馏直接拟合教师分布不同，这种方向性缩放保留了 RL 策略优化的驻点，因此能在加速学习的同时不限制最终性能上限，真正超越弱教师。
• 在多教师弱到强蒸馏场景中，OPRD 能整合异构专家模型且不产生跨任务权衡。它利用每个教师的策略位移方向作为各自任务上的加速方向，结合 verifier 梯度进行选择性放大，避免直接混合教师输出引发的冲突。实验表明 OPRD 在 multi-teacher weak-to-strong distillation 中取得更高性能且无 tradeoff，这对多领域模型合并（如多能力、多格式）具有实际工程价值。

方法

输入

• 弱教师策略 π_weak、强学生策略 π_θ（初始参数通常为教师或更强的预训练模型）
• 可验证奖励模型 R（用于 RLVR，提供稀疏或密集的 0/1 奖励）
• 教师参考策略 π_ref（如教师自己的 SFT 版本，用于衡量策略偏移）

关键模块

1. On-Policy Rollouts：学生策略 π_θ 生成一批推理轨迹（如数学题的解答步骤），这些轨迹是当前学生能力下的在线样本。
2. Teacher Policy Shift：计算弱教师 π_weak 相对于其参考策略 π_ref 在这些学生轨迹上的对数概率变化，得到一个教师偏移方向 d。该方向表示教师认为哪些 token 序列更符合其偏好，但不直接作为优化目标。
3. Verifier-Driven Policy Gradient：利用奖励函数 R 计算标准策略梯度 g，此梯度完全由可验证奖励驱动，对应学生自身的 RLVR 优化方向。
4. Directional Scaling（核心）：将梯度 g 分解为沿教师偏移方向 d 的分量和正交分量。对沿 d 的分量乘以一个放大系数（大于 1），正交分量保持不变。关键约束：仅放大那些与奖励信号方向一致（即 verifier-supported）的更新，避免放大可能偏离正确优化的噪声。
5. Asymmetric Alignment Scaling：进一步拆分正对齐（学生与教师偏移同向）和负对齐分支，通过只放大正分支或调度正负分支的缩放比例，保证优化过程的稳定性和收敛点不被破坏。

输出

更新后的学生策略 π_θ'，能够在相同的 RLVR 更新步数下，更快地提升任务性能，并最终超越弱教师的能力上限。

差异点：与传统蒸馏（将教师输出作为软标签直接优化）或 Off-Policy 弱到强方法不同，OPRD 不把教师当作优化目标，而是以学生自身的在线梯度为基础，仅沿教师偏移方向做有约束的放大，因此既保留了 RLVR 的收敛性质，又绕开了教师能力天花板。

实验

实验设计

OPRD 在三个场景下验证：1) 后继模型弱到强迁移：用弱教师指导强学生；2) 多教师弱到强蒸馏：整合多个异构专家；3) 强到弱蒸馏：验证不依赖容量顺序。对比基线包括传统蒸馏、RLVR、on-policy distillation 等。评估指标为任务性能和所需 student updates 数。

关键发现

• OPRD 在较少 student updates 下达到更高性能，优于现有 RL 和蒸馏方法。
• 响应风格分析显示 OPRD 学生更接近仅用 verifier-based RL 训练的模型，而非弱教师，说明教师指导加速而非偏离学生自身优化。
• 多教师整合无跨任务权衡。
• 强到弱蒸馏有效，说明方法不依赖容量顺序。

与基线对比解读

传统蒸馏把弱教师作为优化目标，会限制学生上限；OPRD 通过评估教师策略偏移并仅在 verifier 支持方向上放大，保留策略优化不动点，同时加速学习。相比 off-policy 方法，OPRD 使用学生 rollout 评估教师偏移，更贴合学生当前策略。实际工程启示：在模型迭代和多领域整合时，OPRD 可减少后训练成本，避免从头 RL。

行业影响

落地场景

OPRD 提供了一种利用较弱教师模型（如上一代模型或领域专家模型）来加速更强学生模型训练的方法，同时避免容量上限。适用于：

• 模型代际迭代：用当前线上的弱模型指导下一代更强模型，减少从零 RL 训练的成本。
• 多领域专家整合：将多个垂直领域的专家模型（如电商中的商品标题生成、客服问答、推荐理由生成）蒸馏到一个通用模型中，无需牺牲各任务性能。
• 强到弱蒸馏：即使用强教师指导弱学生，OPRD 也能稳定提升，不依赖容量顺序。

商业价值

• 降本：OPRD 在弱到强迁移中显著减少学生更新步数（论文中表明更少 updates 达到更高性能），直接降低 RL 训练算力消耗，加速迭代周期。
• 增收：整合多专家模型后，一个模型服务多个业务线，减少模型部署和维护成本；同时学生模型可超越弱教师，带来性能提升，改善用户体验（如推荐准确率、内容生成质量）。
• 体验提升：学生模型保持接近 verifier-driven RL 的风格，而非简单模仿弱教师，避免引入教师偏见，输出更符合优化目标。

跟现有产品/工作流的接口

OPRD 可作为 RLVR / RLHF 流程中的一个梯度调制插件，与现有强化学习框架（如 TRL、VeRL）集成。需要：

• teacher_policy 和 reference_policy 用于计算教师策略偏移；
• verifier 提供奖励信号，用于缩放梯度；
• 学生模型 rollout 数据用于 on-policy 评估。

可以嵌入现有 PPO 或 GRPO 训练循环，作为额外的梯度方向放大项，不影响原有验证器优化目标。对于多教师场景，可将多个教师偏移方向聚合后作为统一指导方向。

具体 use case：

1. 电商平台整合多个专家小模型（搜索相关性、商品属性抽取、评价情感分析）到一个通用大模型，使用 OPRD 加速训练并避免任务间干扰。
2. 内容平台用社区审核模型（弱）指导新一代内容理解大模型（强），在保持强模型自身语言风格的同时，快速吸收审核规则，提升违规内容识别泛化能力。

局限

• **依赖可验证奖励信号，适用任务范围受限** OPRD 构建在 RLVR（Reinforcement Learning with Verifiable Rewards）框架上，要求每个 prompt 都有可自动验证的奖励（如数学题的答案对错、代码测试通过率等）。这使其天然适配数学推理、代码生成等封闭任务，但难以直接迁移到开放域对话、创意写作、摘要等缺乏客观 verifier 的场景。论文在 Discussion 中也指出，当策略梯度接近零时（vanishing policy gradients），教师引导的修正作用有限，这进一步限制了其在优化后期或奖励稀疏任务中的效果。对于实际工程，开发者需要先投入资源构建可靠的 verifier，否则 OPRD 无法发挥优势，增加了落地门槛。
• **实验验证规模与模型容量有限，扩展性存疑** 从论文的实验设置看，主要在小/中型模型（可能 7B-13B 级别）和有限的数学/代码任务上验证，未涉及 70B 以上或更大规模的 frontier 模型。且 OPRD 需要维护 student rollouts、reference policy 和 teacher policy shift 计算，内存与计算开销高于常规 SFT 蒸馏或简单 RL 方法。虽然论文声称加速学习，但前提是 teacher 本身已经较好（“Better-Trained Weak Teachers Provide More Effective Guidance”），若教师质量差，引导方向可能引入噪声。此外，超参数（方向放大系数、对齐阈值等）需要针对任务调参，工程鲁棒性有待大规模验证。
• **与经典弱到强方法相比，需要更多假设与组件** 弱到强泛化的经典做法（如 auxiliary confidence loss、直接对弱标签做监督微调后再 RL）相对简单，而 OPRD 引入了教师策略偏移方向、参考策略、非对称对齐缩放等多个组件，概念和实现复杂度更高。论文虽然展示了优于 off-policy 蒸馏和直接优化 weak policy delta 的结果，但并未充分对比极简 baseline（如 strong student 直接用 verifier RL，不加入教师信号）在所有任务上的收益，部分场景下教师引导的增益可能有限。此外，OPRD 对 reference policy 选择敏感，论文提到“Reference Policy Selection Can Prevent Length Bias”，意味着若不恰当选择参考策略，教师方向可能被长度偏差扭曲，这增加了实际使用的调试成本。