一个症状，三个杠杆：On-Policy 自蒸馏的批判性综述

TL;DR 本文系统性梳理了 On-Policy Self-Distillation 的推理坍缩问题，将其归因于 token 加权、特权信息与教师动态三个杠杆，为领域提供统一分析框架。

问题

问题背景

大语言模型在数学推理任务中追求高准确率与样本效率，on-policy 蒸馏因结合模仿学习的密集监督与强化学习的在线采样而受到关注。其核心是在模型自身生成的 rollouts 上进行 token 级评分，从而提供比稀疏奖励更稳定的训练信号。

现有方法局限

标准 on-policy 蒸馏需要额外部署一个更大的教师模型来逐 token 打分，计算成本高且部署复杂。纯强化学习方法（如 PPO、GRPO）则需要大量生成 token 来估计梯度，且奖励稀疏、训练方差大。On-Policy Self-Distillation（OPSD） 移除了外部教师，让模型自身在获得特权信息（参考解、规划、环境反馈）的条件下充当教师，降低了成本并提升了 token 效率。然而，这种教师-学生不对称性带来一个关键缺陷：推理路径崩溃（collapse）——模型生成的推理轨迹多样性逐渐收窄，最终陷入固定模式，损害泛化能力。

为什么这个问题难/重要

Collapse 并非 OPSD 独有，但特权信息的引入会加剧该现象。其根源可归结为三个杠杆：

• 信号施加位置：如何对 token 加权，决定梯度密度与偏差；
• 教师可见信息：特权信息的性质与风险等级；
• 教师动态：引导信号随时间衰减或更新的方式。

这些因素在不同论文中被冠以不同名称，缺乏统一话语体系，导致诊断与对比困难。业界关注点在于：如何在保持令牌效率优势的同时，避免策略过拟合到教师信号，维持探索与稳定的平衡。

行业类比

类似自动驾驶中，若训练车辆过度依赖高精地图提供的特权先验，测试时无地图会导致决策策略崩溃；OPSD 也需要设计适度的不对称性，才能迁移到真实推理分布。

核心洞察

• 这篇综述将 On-Policy Self-Distillation (OPSD) 的失败模式统一归结为“推理路径塌缩”，并拆解为三个可操控的杠杆：信号施加位置、特权信息性质、教师动态时序。与孤立地分析 token weighting、PMI 偏差、退火策略的已有工作不同，它提供了一个跨论文的共享词汇，把分散的实验现象映射到三个轴上，区分了领域内已达成共识与仍有争议的结论，为工程师系统化调试 OPSD 提供了结构化框架，而非零散的技巧清单。
• 论文强调 OPSD 的教师并非比学生“更强”，而是“更好知情”：特权信息的不对称性既是密集监督的来源，也是偏差的根源。这一视角不同于传统蒸馏中教师必须更大型的假设，它解释了为何特权信息的风险等级差异（参考解、规划、环境反馈）会显著影响塌缩速度，并据此给出按风险排序的分类法，指导工程师在数学推理任务中更谨慎地选择教师条件，避免推理多样性被不可逆地收窄。

方法

核心流程

输入：问题 x 与特权信息 h（如参考解、中间规划或环境反馈）。训练时模型同时看到 x 和 h，但测试时只有 x。

关键模块：

1. On-policy 生成：当前策略模型（学生）针对问题 x 采样一个 rollout，得到 token 序列。采样过程与 RL 的 on-policy 一致，保证分布对齐。
2. 教师评分：将同一个模型重新条件化到 x 和特权信息 h 上，作为教师对 rollout 中每个 token 计算得分（通常是对数概率）。教师与学生的参数完全相同，差异仅在于是否看到 h，因此教师“不比学生强，只是信息更充分”。
3. 损失构建：利用教师评分与学生对同一 rollout 的评分构造模仿学习损失。可选地通过 token 加权 控制信号几何（杠杆 A），例如提高关键推理步骤或低概率 token 的权重，以抑制发散或促进探索。
4. 梯度更新：对损失求梯度并更新学生参数。教师本身不参与反向传播，或通过停止梯度/指数移动平均保持稳定。

输出：更新后的学生模型，其在无特权信息条件下也能生成高质量推理路径。

设计空间与去偏

方法的关键在于三个杠杆：

• Where：信号施加位置，即 token 加权策略；
• What：特权信息的类型与粒度（杠杆 B），决定教师偏差水平；
• When：教师动态与指导衰减（杠杆 C），防止模型对特权信息过度依赖导致推理路径崩溃。

与同类方法差异

与经典蒸馏相比，OPSD 移除了更大教师模型；与 RL 相比，它用稠密 token 级信号替代稀疏奖励，但引入特权信息导致的偏差，必须通过上述三个杠杆的显式设计来控制。

实验

实验设计叙述

本文为批判性综述，未新增实验。所分析的工作围绕 On-Policy Self-Distillation (OPSD) 在数学推理上的实验展开，典型设置包括：使用同一模型作为 teacher 和 student，teacher 获取特权信息（如参考解、规划或环境反馈）生成 rollout，student 在线采样并逐 token 计算损失，衡量指标通常为准确率、pass@k 和推理路径多样性。因为没有新实验，具体算力与数据集不列出。

关键发现

核心症状是 collapse，即模型可产生的推理路径集合逐渐收窄。归因于三个杠杆：

1. 信号几何：token 加权方式影响 collapse 程度；选择性密度可缓解。
2. 特权信息本质：参考解类信息风险较高，而环境反馈相对稳健；来自机器人学的教训同样适用。
3. 循环稳定性：teacher 动态与 guidance 衰减调度影响学生遗忘与多样性保持。 综述指出 collapse 并非 OPSD 独有，但特权信息会加剧；两个原因家族（预存在的 collapse 与 PMI 机制）被区分。

与基线对比解读

早期 OPSD 工作显示精度可比 强化学习 (RL)，所用生成 token 更少，但引入了更高的 collapse 风险。与 标准蒸馏 相比，OPSD 去除了更大 teacher 模型，却以 特权信息偏差 为代价。当前文献尚无统一结论，需对三个杠杆进行系统性消融与受控比较，以确立 OPSD 的安全边界。

行业影响

落地场景

On-Policy Self-Distillation (OPSD) 适用于需要复杂多步推理、但受限于算力与数据标注成本的产品，典型场景包括：

• 教育科技：数学解题助手、分步提示生成
• 代码智能：代码生成、调试推理、测试用例生成
• 金融分析：风险评估报告、合规推理、自动化审计
• 医疗辅助：诊断推理、治疗方案建议 这些场景的共同点是：推理链质量直接决定用户体验，且训练大教师模型成本过高。

商业价值

OPSD 的核心降本点在于无需单独的大模型教师，训练与推理 token 消耗显著低于传统 RL 与蒸馏方法，早期实验显示在数学推理任务上达到相近精度时可减少生成 token 数。对商业团队而言：

• 降本：省去教师模型训练/推理算力，缩短迭代周期
• 体验提升：在推理密集型任务上快速上线可控精度模型
• 风险：需投入成本监控推理路径崩溃（多样性丧失），否则长期可能伤害产品可靠性

与现有工作流接口

OPSD 可嵌入现有 LLM 微调流水线，作为 RLHF/DPO 的轻量替代或补充：

1. 数据管道需要额外标记特权信息（参考解、计划、环境反馈）
2. 训练时同步监控三个杠杆：token 加权策略、特权信息选择、教师动态调度
3. 评估模块需加入推理路径多样性指标，防止崩溃

具体落地 Use Case

• 电商客服系统：在订单纠纷、退换货政策推理等场景中，使用 OPSD 训练客服模型，以历史工单处理方案作为特权信息，让模型自我蒸馏出合规推理链，减少对大型教师模型的依赖。
• 编程教育平台：在代码错误诊断与修复建议功能中，利用 OPSD 让模型基于参考实现自我引导，输出更简洁的修复步骤，降低每次请求的 token 消耗，同时保证准确率。

局限

• **范围局限**：论文明确将讨论限定在**数学推理**领域，尽管这有助于聚焦并利用该领域最充分的失败案例记录，但也意味着三杠杆框架（token 加权、特权信息、teacher 动态）在不同推理模态下的适用性未经验证。例如代码生成、多步工具调用或开放域问答中的 OPSD 可能呈现不同的 collapse 模式，特权信息的定义也会随任务变化。作者承认这一选择源于方法起源和文档化程度，但未讨论扩展到其他领域时可能需要修改的假设或边界条件，这限制了结论的通用性。
• **无新实验验证**：作者明确表示“We report no new experiments”，全部论断基于已有文献的重新梳理。这意味着论文没有提供任何定量消融来比较不同 token 加权策略、特权信息类型或 teacher 更新频率对 collapse 的实际影响幅度。对于希望直接改进 OPSD 训练流程的工程师而言，缺乏可操作的基准数据或推荐配置；文中虽然指出了开放问题，但未给出可复现的实验设计或评价指标，这属于综述类工作的固有局限，但也被作者坦诚接受。
• **与同类工作区分不足**：论文提出了“一个症状、三个杠杆”的统一词汇，但未明确对比现有的 OPSD 相关综述、RLHF collapse 分析或蒸馏偏差研究。例如，token 加权策略与 prior work 中的 sequence-level loss reweighting 有何本质区别？特权信息分类是否只是已有“hindsight information”框架的翻版？作者没有清晰地划定哪些部分是真正的概念整合，哪些是重新命名。这使得其结构性贡献的价值依赖于读者对原始文献的熟悉程度，削弱了作为 critical review 应提供的批判深度。