SG-OPD: 符号门控的在线策略蒸馏 via 符号一致性门控和阶段性教师采样

TL;DR SG-OPD 用二进制验证器在两个粒度上为在线策略蒸馏提供信任信号，解决轨迹错位与教师标记不可靠问题，在数学推理任务上大幅超越标准 OPD。

问题

问题背景

当前，大语言模型在复杂推理任务（如数学、代码）上的能力提升依赖于高质量监督信号。on-policy distillation (OPD) 作为一类将教师模型的知识通过逐 token 监督传递给学生模型的方法，因其直接利用学生自身生成轨迹进行训练，在保持策略一致性和样本效率上展现出优势，成为替代传统强化学习的热门方向。

现有方法的局限

标准 OPD 隐含两个在实际中常被违背的假设：

• 轨迹级对齐假设：认为学生生成轨迹与教师示范轨迹高度一致，但在冷启动或分布偏移时，学生行为可能严重偏离教师，导致教师提供的逐 token 信号失去参考意义，训练不稳定甚至崩溃。
• token 级可靠性均匀假设：默认教师对每个 token 的偏好修正方向都同等可靠，忽略了教师在简单 token 上易过拟合、在困难 token 上预测噪声大等现象，错误信号会误导学生策略更新。 这些假设失效时，OPD 的性能反而劣于简单的非策略蒸馏或纯强化学习，限制了其在多变推理场景中的泛化。

为什么这个问题既难又重要

技术上，精准识别并滤除不可靠的教师信号，同时保留有效指导，需要在样本级和 token 级两个粒度上动态评估教师信号的质量，而传统 OPD 缺乏这种验证机制。引入外部验证器（如答案正确性 checker）虽可提供二元反馈，但如何将其有效转化为逐 token 的信任门控仍具挑战。业界对推理能力的关注度持续走高：从 GPT-4 到开源模型，提升数学/代码 benchmark 分数是核心竞争指标。高效的蒸馏方法能大幅降低 RL 训练的计算开销和时间成本，直接关系到产品迭代速度和能力天花板。

行业类比

类似自动驾驶中传感器融合的置信度门控，当摄像头和激光雷达输出冲突时，系统会根据场景动态选择信任某一信号；SG-OPD 通过验证器信号对教师 token 级指导进行类似的“信任加权”，实现更鲁棒的知识迁移。

核心洞察

• OPD 的两个常见失效模式——学生教师轨迹错配和教师 token 级建议不可靠——在标准 OPD 中被忽视，SG-OPD 首次将其显式建模并作为蒸馏信号筛选的依据，这比单纯混合教师分布或添加奖励塑形更系统地从根源上限制了噪声监督。
• SG-OPD 将二元验证器从简单的样本过滤拓展为双粒度信任信号：样本级通过分阶段的教师采样注入可靠 rollouts，token 级通过符号一致性门控对教师梯度做外推或内插，实现了蒸馏强度与教师可信度的动态适配，这一思路可推广到任何有可验证奖励的 on-policy 蒸馏场景。

方法

方法概览

SG-OPD 针对标准 On-Policy Distillation (OPD) 的两大失效模式设计了双粒度信任机制：

1. 轨迹级对齐脆弱 —— 学生与教师的序列分布漂移导致教师信号失效；
2. 令牌级可靠性不均 —— 教师对单个令牌的偏好并非始终可信。

核心思路是引入一个 二元验证器 作为额外信任信号，在样本级和令牌级分别过滤或校准教师提供的密集监督。

---

输入

• 学生模型当前策略生成的推理轨迹（on-policy rollouts）
• 强教师模型对每个令牌的偏好信号（对数概率或分数）
• 二元验证器（如数学答案正确性判定器），可独立评估轨迹的质量

关键模块

样本级锚点：分阶段教师采样 (Phased Teacher Sampling, PTS)

• 动机：冷启动阶段学生轨迹质量低，与教师轨迹差距大，蒸馏信号不可靠。
• 实现：在训练初期，以一定概率混入 被验证器认可的教师轨迹（verified teacher rollouts），作为样本级锚点；随着训练步数增加，该概率线性退火至 0，最终完全使用学生自身轨迹。
• 作用：引导学生在探索初期稳定对齐到高奖励区域，缓解轨迹级错位。

令牌级门控：符号一致性门控 (Sign-Consistency Gate)

• 动机：令牌级蒸馏信号中，教师可能在某些令牌上给出错误偏好（与验证器的正确方向不一致）。
• 实现：
  • 定义每个令牌的 符号一致性：若教师对该令牌的梯度方向与验证器奖励的方向一致，则视为可靠，否则不可靠。
  • 可路由令牌优势：当符号一致时，外推 蒸馏更新（放大可靠信号）；不一致时，内插 更新（抑制噪声）。
  • 稳定权重：基于学生与教师概率比的裁剪，防止个别令牌产生过大的梯度范数。
• 作用：仅在令牌级教师与验证器“同向”时才充分信任教师，从而提升监督信号的密度与准确率。

组合目标

最终的损失函数将 PTS 样本级锚点 与 符号一致性加权的令牌级蒸馏 相结合，通过统一的目标对学生模型进行在线蒸馏更新。

输出

更新后的学生模型，在数学推理等任务上显著优于标准 OPD，尤其在 pass@32 指标上提升明显。

与同类方法的差异

标准 OPD 不加区分地信任所有教师信号，而 SG-OPD 利用 低成本二元验证器 在两个粒度上引入信任机制，实现了对不可靠教师信号的自动过滤与校准，无需额外的大型奖励模型。

实验

实验设计

实验在竞争级数学推理基准上评估 SG-OPD。学生模型基于自己的轨迹进行蒸馏，并从一个更强的教师模型获取逐 token 的密集监督，同时引入一个 二元验证器 (binary verifier) 作为可信度信号。训练结构包含两级门控：

• 样本级 phased teacher sampling (PTS)：在冷启动阶段混合使用验证器认可的教师轨迹，为学生提供可靠锚点。
• token 级 sign-consistency gate：根据教师模型与验证器正确方向的一致性动态调整蒸馏更新——方向一致时外推 (extrapolate)，不一致时内插 (interpolate)。

基线为标准 on-policy distillation (OPD)，评估指标涵盖 per‑sample 和 per‑question 增益，并配合消融实验验证各组件贡献。

关键发现

1. 整体性能：SG-OPD 在所有基准上一致优于标准 OPD，per‑sample 平均增益 +1.98，per‑question 平均增益 +7.50。
2. 门控效应：token 级 sign‑consistency gate 是性能提升的主要来源，而非额外的教师计算；它通过避免在不可靠 token 上盲目追随教师，显著减少了错误累积。
3. 粒度互补：消融实验表明样本级锚点 (PTS) 和 token 级门控 (sign‑consistency gate) 彼此正交，同时使用获得最佳效果，缺一不可。
4. 训练动态：SG-OPD 使训练更稳定，尤其在学生与教师轨迹分布严重错位的阶段，phased teacher sampling 有效防止了早期发散。

与基线的深度对比

标准 OPD 隐含两个假设——轨迹级学生‑教师对齐和逐 token 教师可靠性均匀——在数学推理任务中经常不成立：学生可能生成偏离教师分布的解答，且教师对某些 token（如关键推导步）的偏好并不可靠。SG-OPD 通过二元验证器作为信任信号在两级粒度上打破这些假设：

• 样本级 PTS 确保初始阶段有足够多“可验证正确”的教师示范，缓解轨迹不对齐问题。
• token 级 gate 对每个 token 的教师信号进行细粒度筛选，仅在教师方向与验证器一致时才放大更新，否则衰减，从而把蒸馏损失路由到真正有助于正确答案的步上。

这种“信任‑过滤‑加权”机制使得 SG-OPD 比 OPD 平均增益高出 7.50 个点（per‑question），且该增益不是来自更多地查询教师，而是来自更智能地利用教师信号，这在实际部署中能显著节省教师推理成本。对于有明确二元正确性判定的任务（如数学、代码），该方法提供了一种值得借鉴的 可验证蒸馏 范式。

行业影响

落地场景

SG-OPD 针对需要强推理能力的任务优化蒸馏过程，尤其适合对延迟敏感或资源受限的部署环境。典型场景包括：

• 在线教育辅导：数学或逻辑类问答系统，使用小模型实时交互，节省成本而不牺牲多步推理准确性。
• 金融风控与合规：需要复杂规则推理的文档审查，用轻量模型实现高召回、低误判。
• 代码助手：在 IDE 插件中运行，提供实时代码生成与调试建议，要求低延迟和本地推理。
• 电商客服：处理退货政策、优惠叠加等需多步计算的查询，取代只能匹配 FAQ 的简单 bot。

商业价值

• 降本：用 7B–13B 学生模型替代百亿级 teacher，云端或终端推理成本可降低 5–10 倍，同时通过 verifier 保证输出质量，避免频繁 fallback 到大模型。
• 体验提升：在数学与推理基准上，per-question 提升达 7.50 点，直接转化为更高的任务成功率与用户信任。
• 增收：使小模型能承接需复杂逻辑的付费服务（如精准辅导、合规审计），扩大产品覆盖场景。

与现有工作流的接口

SG-OPD 可直接嵌入LLM 微调流水线：

• 在强化学习（如 PPO/GRPO）后，用 policy 模型采样 rollout，引入 binary verifier（已广泛用于验证数学答案）作为信任信号。
• 利用 phased teacher sampling 混合 verified teacher 轨迹，平滑初期冷启动；sign-consistency gate 在 token 级别过滤不可靠的教师信号，保持高斯梯度估计稳定性。
• 可与现有开源框架（如 verl、TRL）集成，配置文件级改动即可部署，无需额外标注数据。

具体案例

• 教育科技产品：在面向 K-12 的数学辅导 App 中，用 1.5B 学生模型部署在移动端，通过 SG-OPD 从 70B teacher 蒸馏几何证明能力，让离线学习也能提供高质量逐步解释，用户留存提升。
• 企业财务审计：会计师事务所使用扫描件自动提取与勾稽，小模型判断凭证合规性，通过 SG-OPD 保持严格逻辑一致性，降低人工复核成本。

局限

• **任务依赖可验证二元奖励**：SG-OPD 的核心前提是需要一个**二进制验证器**（binary verifier）来提供正确性信号，这严格限制了该方法只能应用于有明确对错评判标准的领域，如数学解题或代码执行。在开放式文本生成、创意写作或需要多维度质量评估的场景下，这种依赖变得不现实或引入极大偏差。此外，验证器本身的质量也对效果构成瓶颈，若验证器存在噪声或系统性错误，会直接误导 token 级和轨迹级信任信号，导致蒸馏偏差。
• **计算开销与超参数敏感性**：方法包含两个互补的信任机制，训练过程中需要额外执行**教师前向传播**生成替代轨迹（用于 PTS），以及**验证器对每 token 或轨迹的评估**，显著增加了训练时的计算负担。尤其在冷启动阶段，教师采样比例较高，可能拖慢早期迭代速度。文中虽提供了超参数设置，但未深入分析调度策略（如退火速度）的鲁棒性；在不同模型规模或任务上，这些参数可能需要较多调试才能达到论文报告的性能。
• **评估领域单一，泛化性未知**：全部实验仅基于**竞赛级数学推理基准**（如 AMC/AIME 等），虽然取得了显著提升，但并未在代码生成、多轮对话、常识问答等更广泛的推理任务上验证。**模型规模**也限于单一系列（约 7B），大规模模型上教师偏差和 token 级可靠性假设的失效模式是否仍匹配、SG-OPD 的增益能否保持，均未探索。这限制了方法被视为通用改进的置信度。