当教师误导：虚假信号感知的 On-Policy 蒸馏

TL;DR 指出OPD中教师token监督常包含与输入无关的“伪信号”，产生有害梯度；提出SA-OPD，通过输入接地性过滤低质量信号，有效提升LLM和VLM蒸馏效果。

问题

问题背景

On-Policy Distillation (OPD) 通过教师模型提供密集的 token 级监督信号，引导学生在自身采样轨迹上学习，已成为大模型能力迁移的核心技术。现有选择性 OPD 方法进一步提升了蒸馏效率，但它们判断信号价值的标准（如置信度、信息量、可学习性）存在根本缺陷。

现有方法的局限

选择性 OPD 隐含假设教师输出的 token 级分布差异仅反映任务相关的不确定性，却忽略了教师模型本身可能产生虚假信号：

• 语言先验：模型倾向于输出高频、语法通顺的 token，即使与输入无关；
• 格式约定：特定模板（如“答案是”、“因此”）常被赋予过高的监督权重；
• 刻板推理模板：教师可能重复惯用的推理步骤，而非基于当前任务的证据。

这些信号产生大梯度，推动学生模仿表面正确的输出模式，却未学到真正的任务因果关系。现有方法因缺乏对输入-信号关联性的评估，可能反而强化了这些虚假更新。

技术挑战与重要性

虚假信号难以检测，因为它们在数学上符合优化方向（高梯度），但在语义上并不依赖输入。直接移除高梯度 token 会损失有效信号，而仅靠输入扰动或人工规则无法覆盖千变万化的虚假模式。该问题直接影响蒸馏的质量和安全：学生在虚假信号指导下会获得“脆弱性能”——换一个输入分布就崩溃。在大模型训练成本极高的当下，蒸馏的可靠性已成为工业落地的关键瓶颈。

行业类比

相似挑战也出现在自动驾驶的感知模型训练中：如果教师网络在标注数据中过度依赖阴影、背景颜色等虚假相关性，蒸馏出的学生模型也会“继承”这种偏见的决策逻辑，最终导致危险行为。

核心洞察

• **输入基础性 (Input-Groundedness)** 是 On-Policy 蒸馏中信号选择的关键新维度。先前选择性 OPD 方法依据置信度、信息量或可学习性筛选监督信号，但未区分信号是否真正依赖于具体输入，忽略了语言模型固有的输入无关先验和刻板模板产生的虚假信号。SA-OPD 提出通过轻量级代理评估 token 级监督的输入依赖性，从而识别并过滤这类虽产生大梯度却缺乏任务导向的误导性学习，填补了信号质量评估中“内容相关性”这一空白。
• **双条件过滤 (低输入基础性 + 极端蒸馏分歧)** 实现了更精细的虚假信号剔除。不是所有低输入基础性信号都需移除，部分可能仍含有益的通用知识。SA-OPD 将其与优化影响（蒸馏分歧）结合，仅过滤同时满足低输入基础性且分歧极大的 token，既避免了移除潜在有用信号，又针对性消除高影响力虚假更新，这种细粒度权衡比单一指标过滤或纯 token 类型筛选更鲁棒且易于集成。

方法

SA-OPD 方法遵循 输入 → 关键模块 → 输出 的流程，在 On-Policy Distillation (OPD) 基础上增加轻量级筛选，抑制 虚假信号 (spurious signals)。

输入

由教师模型对 学生自采样轨迹 (student-sampled trajectories) 提供 token 级密集监督，每个 token 均有一个教师分布与学生分布，形成原始的蒸馏损失信号。

关键模块

1. 输入依赖性代理 (Input-Groundedness Proxy)

   • 引入一个轻量模块，估计 token 级蒸馏信号是否 真正依赖输入内容（而非源于语言先验、格式模板等输入无关因素）。该代理输出一个介于 0（完全输入无关）到 1（高度输入相关）的连续值，不引入额外前向传播开销。

2. 双重条件过滤

   • 对每个 token，同时检验两个条件：
     • 低输入依赖性：代理值低于阈值，表示该信号可能由先验驱动；
     • 极端蒸馏散度：学生与教师在该 token 上的分布差异显著高于整体水平，表明其优化梯度强但方向可疑。
   • 仅当两个条件同时满足时，将该 token 标记为 虚假信号，并在损失计算中将其过滤（即不考虑该位置的蒸馏损失）。
   • 这种方法实现了 token 粒度 的精细控制，避免一刀切地丢弃所有低置信信号，也防止保留所有高梯度但误导性的更新。

输出

筛选后的 token 集合用于计算蒸馏损失，驱动学生模型更新。训练后的学生模型在 LLM 和 VLM 任务上均稳定优于普通 OPD 及竞争性选择性方法。

与同类方法的差异

不同于仅基于 置信度、可学性或信息量 的选择方法，SA-OPD 首次将 输入依赖性 作为信号质量的衡量维度，通过“低依赖 + 高散度”双重准则精准剔除 优化相关但任务无关 的虚假更新，从而在不大幅增加计算量的前提下提升策略蒸馏的鲁棒性。

实验

实验设计

论文在 LLM 指令跟随 / 推理 和 VLM 视觉问答 两种场景下评估 SA-OPD。基线包括 Vanilla OPD(使用全部 token 级教师信号)以及近期的 选择性 OPD 方法(基于置信度、信息量或可学性筛选 token)。所有实验保持训练数据和模型规模一致,仅改变蒸馏 token 选择策略。

关键发现

SA-OPD 在所有测试中一致超越全部基线。其主要优势来自 双条件过滤:仅当 token 的 输入根基性( input-groundedness )低且 蒸馏发散度( distillation divergence )高时才剔除该监督信号。这有效移除了由语言先验、格式惯例或模板化推理产生的 spurious updates,这类更新虽产生大梯度,却几乎不贡献任务相关方向。消融实验表明,单独使用任一条件均会导致性能下降,验证了双条件的必要性。

与基线的深度对比

现有选择性方法假设教师信号的质量可由置信度、信息量等统计量刻画,但此类指标无法区分输入驱动的真知识和 输入无关的先验知识。当模型过度依赖先验时,高置信度 token 反而可能是 spurious signal。SA-OPD 从 梯度对任务的对齐程度 出发,设计了轻量的输入根基性代理指标,直接衡量每个 token 监督是否真正依赖当前输入。这种视角的转变使 SA-OPD 能够过滤掉那些在传统指标下看似优质、实则引入偏置的更新,从而在 长文本指令跟随 和 多模态推理 等复杂任务上实现更稳健的性能提升。

行业影响

落地场景

SA-OPD 主要适用于需要通过 On-Policy 蒸馏(OPD) 将大模型能力迁移到小模型的业务，尤其适合对推理延迟敏感、需在边缘设备部署的场景。典型产品包括：

• 智能客服与对话系统：将大语言模型(LLM)的对话能力压缩为轻量级模型，减少服务端计算成本。
• 移动端 / 车载助手：在离线环境下提供低延迟响应，同时避免教师模型中因预训练语料引入的偏置导致的虚假信号。
• 内容审核与风险管理：蒸馏时过滤掉格式依赖或刻板推理模板的监督，让学生模型更聚焦于输入本身的判断，提升安全准确率。
• 推荐系统解释生成：在电商或内容平台中，用小型模型生成高质量、输入相关的推荐理由，避免模板化空泛表述。

商业价值

核心收益来自 降低有效训练成本 与 提升学生模型的任务收益：

• 降本：SA-OPD 能识别并跳过大量干扰性更新，使蒸馏过程更高效，等价节省 GPU 小时；学生模型体积更小、推理更快，直接减少线上服务资源占用。
• 增收与体验提升：过滤虚假信号后，学生模型在任务上的表现更稳定、可靠。例如在对话系统中，回复更贴近用户实际需求而非安全套话；在推荐解释中，解释更具信息量，可提升点击率与转化率。

与现有产品 / 工作流的接口

SA-OPD 作为一个轻量级插件，可无缝集成到现有蒸馏框架中：

• 在标准 OPD 训练循环中，只需在计算 token 级损失时加入 输入根基性代理 和 分歧过滤 两个模块，不改变模型架构或训练逻辑。
• 可直接应用于 Hugging Face Trainer、DeepSpeed 等主流分布式训练管线，通过自定义 loss 函数实现。
• 输入根基性估计模块可预先训练或与主模型联合学习，增加的计算开销极小（仅少量 MLP 头或注意力评分）。

具体落地 use case

1. 全球电商平台的商品描述生成：某跨国电商平台使用 LLM 为海量商品自动生成描述，教师模型常生成“高品质”“时尚设计”等通用短语，但学生模型应关注商品实际属性。SA-OPD 可过滤这类输入无关的模板信号，使小模型生成的描述更贴合具体商品，提升详情页停留时长与购买转化。
2. 在线教育平台的智能答疑系统：将大模型的知识问答能力压缩为小模型，部署到学生端离线使用。教师模型可能因预训练数据而产生“请查阅相关资料”等安全兜底回答，SA-OPD 能抑制此类虚假信号，使学生模型更倾向于基于问题内容给出具体解答，提升学习体验与续费率。

局限

• **输入接地性代理的局限性**：SA-OPD 中的 groundedness 估计基于教师与学生预测分布之间的 KL 散度，该代理假设分布差异大即代表信号未依赖输入。然而，这一假设不一定总是成立：学生可能因为容量不足而对某些 token 产生较大偏差，或者教师的某些高置信度预测恰好与先验知识一致，导致真正虚假的信号并未被检测到。此外，论文仅将该代理用于过滤标准，并未探讨代理自身的校准问题，这可能在分布外测试时造成误过滤或漏过滤。
• **任务与模型规模的泛化性**：实验仅在数学推理（GSM8K、MATH）与视觉问答（LLaVA）等少数任务上验证，且教师与学生模型架构相对固定。对于更开放的对话生成、代码合成或需要复杂上下文建模的任务，虚假信号的表现形式可能不同，SA-OPD 的过滤策略是否仍然有效尚不明确。同时，随着模型规模增大，蒸馏过程中的虚假信号模式可能发生变化，论文未提供更大规模模型上的实验证据。
• **超参数敏感性与计算开销**：方法引入了动态 FLMR 约束和过滤阈值 λ，论文中仅通过有限的网格搜索确定了超参数，但其最优设置可能对训练任务和模型组合高度敏感。实际部署时需要额外的调参成本。此外，SA-OPD 需要逐 token 计算教师与学生分布差异并维护梯度 SNR 统计，相比标准 OPD 增加了一定的计算负担（论文附录 D 提到约 10%~15% 额外开销），在超大模型或大规模数据蒸馏场景下可能成为瓶颈。