通过自蒸馏提升基于Rubric的强化学习

TL;DR CriPO通过自蒸馏同时解决评分准则RL中未探索与被抑制准则的问题，在不引入训练推理不一致的情况下提升LLM开放式任务表现，并实现约2倍训练加速。

问题

问题背景 基于评分准则的强化学习（Rubric-based RL）近期在提升大语言模型（LLM）完成开放性任务的表现上展现了显著潜力，它通过细粒度的多维度准则来塑造模型行为，已成为对齐复杂偏好的关键路径。

现有方法局限 该范式的核心瓶颈在于探索不足导致的未探索准则（Unexplored Criteria, UC）与优化失效导致的抑制准则（Suppressed Criteria, SC）。UC 指任何采样输出都未能满足的准则，因而得不到有效的梯度信号；SC 则是实际已被某些输出满足，但在标量奖励聚合过程中因整体优势非正而被错误压制的准则，其对应的积极学习信号完全丢失。现有手段主要通过为采样过程注入准则信息作为外部引导来缓解 UC，但这引发了严重的训练-推理不匹配——策略在训练时依赖外部引导优化，而推理时没有该引导，自回归错误会逐级累积，导致性能退化。此外，SC 几乎被完全忽视，模型因此丧失了大量可复用的行为模式。

为什么这个问题难/重要 UC 与 SC 并非偶发现象：分析表明，在整个训练过程中，超过57% 的样本出现 SC，且平均每样本含有1.8 个被抑制的准则。这直接降低了样本效率与收敛速度，阻碍 RL 的实际收益。技术挑战在于，必须在保持在线策略训练一致性的同时，既精准注入缺失的准则行为，又可靠定位并修复被压制的 token 级信号，这要求对 RL 梯度机制与自蒸馏方法有深层的融合设计。业界对提升 LLM 复杂指令遵循与推理能力的需求迫切，该问题的解决对强化学习训练效能有直接决定作用。

行业类比 这类似于训练自动驾驶策略时使用高精地图辅助，但实际部署时无地图支持，导致决策质量骤降；此处训练-推理不匹配正是同一性质的分布外漂移难题。

核心洞察

• 该工作首次将 rubric-based RL 的失败模式明确分解为 Unexplored Criteria (UC) 和 Suppressed Criteria (SC)，并量化了 SC 的普遍性（超过 57% 样本、平均每样本 1.8 个）。与以往只关注探索不足的方法不同，它指出标量奖励聚合会系统性地丢弃已被满足准则的学习信号，导致有效行为被“压制”。这一区分将准则级优化问题重新定义为同时解决探索缺失与信号丢失的双目标问题，为精细化奖励分解提供了新视角。
• CriPO 通过 on-policy 自蒸馏同时应对 UC 与 SC，且无需在推理时注入外部准则信息。它利用自我教师构造准则注入分布（正向 KL）解决 UC，并通过反事实教师定位 SC 相关 token 翻转其优势值以保留有用模式。这一设计消除了现有探索方法引入的 train-inference mismatch，使训练与推理行为保持一致，避免自回归解码中的误差累积，并大幅提升样本效率（约 2 倍少步数达到更优性能）。

方法

CriPO 以 rubric-based RL 的采样轨迹为输入，围绕 Unexplored Criteria (UC) 和 Suppressed Criteria (SC) 两类失败模式设计两个关键模块，输出增强后的策略更新信号，全程不引入训练-推理不一致。

模块一：行为注入 (Behavior Injection)

针对 UC（所有 rollout 均未满足的标准)，CriPO 构造一个 criterion-injection self-teacher。该教师模型在 prompt 中显式注入未探索的标准描述，生成包含目标行为的参考分布。随后，对学生模型在这些轨迹上的输出计算 局部 forward-KL 损失，仅对与标准相关的 token 位置施加约束，从而将缺失的行为蒸馏到策略中，而不会干扰其他已掌握的能力。

模块二：优势翻转 (Advantage Flipping)

针对 SC（虽有 rollout 满足但优化中信号被抑制的标准)，CriPO 先通过 counterfactual self-teacher 定位负优势轨迹中与标准相关的 token。具体做法是：在移除标准描述的条件下重新生成，对比 token 生成概率的差异，识别出对标准满足有贡献的关键 token。随后，将这些 token 的 token-level advantage 从非正值翻转为正值，从而在策略梯度更新时保留本应被抑制的有用行为。

训练目标

CriPO 在原有 PPO 目标 的基础上叠加上述两项 self-distillation 损失，并通过 on-policy 方式交替进行采样与蒸馏，保证教师信号始终与当前策略对齐。

与同类方法的差异：现有探索方法（如注入 rubric 指导的 rollout）存在训练时使用额外指导、推理时无指导的 mismatch，而 CriPO 通过 on-policy self-distillation 将准则层面信息内化到策略本身，从根本上消除 mismatch；同时首次明确处理 SC 问题，弥补了以往仅关注 UC 的不足。

实验

实验设计

论文在多个医学和科学领域的开放式推理基准上评估 CriPO，选用不同规模的 LLM 作为策略模型。每个任务均配有细粒度的 rubric 定义，作为逐标准的奖励信号。对比基线包括传统 rubric‑based RL (如 PPO 配合标量奖励聚合) 以及近期通过外部引导 (external guidance) 增强探索的方法。评估维度涵盖最终任务得分与训练步数效率，所有实验在相同的奖励模型下进行，以保证公平性。

关键发现

分析首先揭示出 抑制标准 (Suppressed Criteria, SC) 是 rubric‑based RL 中极为普遍的失效模式：超过 57% 的训练样本至少存在一个 SC，平均每样本达 1.8 个。CriPO 通过 on‑policy 自我蒸馏，统一处理 未探索标准 (UC) 和 SC 两类问题：针对 UC 的 行为注入 利用标准注入教师提供局部前向 KL 损失，向策略注入缺失行为；针对 SC 的 优势翻转 则定位标准相关 token 并将其 token‑level 优势修正为正值，避免有益信号被标量聚合淹没。实验表明，CriPO 在所有基准上一致优于既有方法，且在收敛速度上有约 2 倍的提升——仅需约一半的优化步数即可达到或超越基线的最强性能。

与基线的深度对比

传统 rubric‑based RL 将多个标准的分数压缩为单一标量奖励，导致 SC 对应的正贡献在优势计算中消失，无法提供学习信号。探索导向的方法 (如外部引导) 虽然改善了 UC，但引入 训练‑推理不匹配：训练时策略依赖引导生成 rollouts，推理时则无引导，自回归解码的误差累积会损害实际性能。CriPO 完全在 on‑policy 框架内运作，不改变推理阶段的模型行为，因此从根本上消除了这一不匹配。同时，优势翻转机制让每个标准无论对总体奖励的净贡献如何，只要被满足就能被强化，从而更充分地利用细粒度奖励信号，在最终性能和样本效率上均形成显著优势。

行业影响

落地场景

CriPO 直接适用于所有基于 rubric-based RL 训练的 LLM 开放式任务，如 医疗推理、代码生成、法律文书撰写、内容审核 与 教育评估 等。这些场景中的模型输出需同时满足多个细粒度评价准则，现有方法常因探索不足或奖励聚合导致部分准则被忽略。CriPO 通过 on-policy 自我蒸馏，在不引入训练-推理不一致的前提下，同时解决 未探索准则 和 抑制准则 问题，使模型对复杂准则的覆盖更全面。

商业价值

• 降本增效：CriPO 仅需约 一半优化步数 即可达到甚至超越现有基准性能，大幅节约 GPU 训练成本，缩短模型迭代周期。
• 体验提升：消除训练-推理 mismatch，模型部署后表现一致，无需二次调校；在安全敏感领域（如医疗、金融）能减少关键准则遗漏，增强用户信任。
• 可持续迭代：天然支持增量准则扩展，适合需要频繁调整评价维度的业务，例如客服系统根据新政策增加满意度准则。

与现有工作流的集成

CriPO 作为 on-policy 算法，无需改动模型推理架构（无外部引导模块），能像标准 RLHF/RL pipeline 中的一个插件般嵌入：

1. 在 rollout 阶段记录 token 级准则关联度；
2. 训练时计算 CriPO 损失（行为注入与优势翻转），与现有 PPO/GRPO loss 简单叠加；
3. 推理时零额外开销，直接上线。

具体 use case：在电商平台的商品评论总结任务中，要求同时兼顾“情感倾向”、“关键特性”、“性价比”等多个准则。CriPO 可防止“性价比”等弱信号被其他强准则压制，且以 ~2x 训练加速快速适配多品类评价，提升总结的全面性和实用性。在医疗问诊辅助系统中，CriPO 确保模型同步优化“病因解释完整性”、“用药安全性”与“通俗易懂度”，避免因奖励聚合优化而丢失关键维度，显著降低遗漏风险。

局限

• **计算开销与实现复杂度**：CriPO 需要在训练过程中动态构造多种 self-teacher（如 criterion-injection 和 counterfactual teacher），并计算 forward‑KL 散度与 token‑level 优势翻转。这可能显著增加单步训练的计算与内存需求，尤其对大模型（如 70B+）不友好。论文未详细讨论该方法相对于普通 PPO 的额外资源消耗，实际部署时可能成为瓶颈。
• **优势翻转的准确性依赖**：Suppressed Criteria 的解决依赖于 accurate token‑level 的 criteria‑relevant localization，即定位那些导致负优势但实际对 criterion 有贡献的 token。如果定位机制不完美（例如粗略的基于注意力或梯度的归因），可能错误地将无关 token 标记为 relevant，从而引入噪声训练信号，甚至破坏已学好的行为。论文仅给出定性案例，缺乏系统的定位精度评估。
• **任务泛化性验证有限**：实验主要在医学推理（MedQA）和科学推理（SciBench）等需要长篇推理的任务上进行，这些任务中的 rubric criteria 通常涉及多个细粒度要求。CriPO 在简短对话、指令遵循或安全性对齐等任务上的效果尚不明确，且未在非 GPT 类评测（如人类评判）下验证，泛化性有待进一步检验。