Rethinking On-Policy Distillation of Large Language Models II: One Training Example

TL;DR One-shot OPD 用单个 query 即恢复 full-data OPD 大部分增益，证明 OPD 数据过剩但算法学习慢，是算法饥饿而非数据饥饿。

问题

问题背景

当前 on-policy distillation (OPD) 已成为大模型后训练中对齐的重要手段，它利用学生模型自生成 rollout，结合教师模型的 token 级稠密监督，在数学推理、指令跟随等任务上取得显著增益。业界普遍关注其算法动态，如 state coverage、absorption rate，但对训练数据的角色缺乏深入理解。

现有方法局限

以往工作主要研究 OPD 的算法行为，例如动态度量、方差控制、KL 正则化等，却通常默认数据多样性是增益核心。实践中大量收集或合成 query 集，成本高昂，但缺少对数据最小化极限的定量分析。具体局限包括：

• 未回答“单个 query 能带来多少增益”这一基本问题。
• 没有量化训练过程中的状态覆盖：一个 query 的 rollout 能到达全数据 OPD 所访问状态的多少比例？
• 缺乏对齐速率（absorption rate）的测量，无法区分数据不足与算法吸收慢这两个瓶颈。

为什么这个问题难/重要

OPD 的难点在于训练数据与动态学生策略分布偏移耦合：query 本身既影响 rollout 状态分布，又通过教师监督影响梯度信号。仅凭损失曲线无法解耦数据贡献与算法效率。该论文通过极简实验揭示 数据过度供给、算法饥饿 现象：单个 query 在数百步内持续提升，达到 71.5% 的全数据状态覆盖，但学生对齐速率几乎不随数据规模改变。这对前沿后训练的数据工程与计算预算分配有直接指导意义——若算法吸收慢，盲目增加数据不能线性缩短训练步数。

行业类比

类似 RLVR 中用少量高质量 prompt 即可获取大部分奖励信号，但 OPD 从同一 query 中提取更稠密的 token 级监督，更进一步表明：后训练优化应更多关注 step efficiency，而非单纯堆数据。

核心洞察

• OPD 的数据需求被大幅高估：单 query 训练即可达到 71.5% 的 teacher state coverage，并恢复大部分 full-data 增益。这一发现与以往假设“OPD 需要大量 on-policy rollouts”形成对比，表明数据收集并非主要瓶颈，而是优化算法对已有状态的吸收速率不足。工程师应将资源从扩数据转向提升 step efficiency，例如改进损失设计或动态调整学习率。
• state coverage 作为 OPD 数据质量的代理指标，与验证精度正相关，但与 query 的语义内容脱钩。content-light 模板或 off-domain 数据也能诱导高 coverage，说明 OPD 的有效性更多依赖于状态空间的探索广度，而非特定任务语义。这为低成本构建蒸馏语料库提供了可能：用少量语义多样的 query 即可接近 full-data 表现，大幅降低数据采集成本。
• OPD 的对齐速度不随训练数据规模变化，即使固定状态集也需要数百步吸收，表明方法存在算法层面的减速瓶颈。该发现排除了“数据不足导致慢”的常见解释，将问题焦点从数据端转移到算法端。未来工作应聚焦于提高每步参数更新的信息利用效率，例如开发针对 token-level distillation 的专用优化目标或改进训练动态。

方法

方法框架

On-Policy Distillation (OPD) 遵循 输入 → 生成 → 监督 流程：给定单个 query，学生模型在线生成 rollout（响应序列），教师模型对每个 token 提供稠密监督（如 logits 分布或 top-k 重叠信息），学生通过梯度更新逼近教师行为。本文不修改 OPD 算法本身，而是将训练数据压缩至极限——仅用 1 个 query 训练数百步，观察性能提升与机制。

关键模块一：训练状态覆盖 (state coverage)
将学生生成过程中经过的中间状态（隐藏表征或 token 前缀空间）视为状态集。对给定 query 集，统计其 rollout 访问的状态占全数据 OPD 训练访问状态的比例。实验显示单 query 可达 71.5%，16 个语义多样 query 达 98.9%，并与全数据训练的性能相匹配。

关键模块二：对齐速率 (alignment rate)
通过动态指标（如 top-k token 重叠率、gap recovery）追踪学生随训练步数的对齐速度。发现无论用 1 个 query 还是全量数据，对齐速度均以相似节奏下降；即使固定访问状态集合，学生仍需数百步才能吸收监督。

输出 ：学生模型在数学、指令跟随等任务上的精度提升，以及多教师 OPD (MOPD) 下的扩展结论。
与同类研究侧重算法行为或数据规模不同，本文从数据最小化角度揭示 OPD 的状态覆盖已足够，瓶颈在算法步效率，主张转向优化训练算法而非数据扩充。

实验

实验设计

论文在数据最小化极限下研究 OPD：只使用单个 query 进行训练，并测量学生模型在数百步内与教师对齐的动态。实验覆盖 数学推理、指令跟随、代码生成 等多个任务域，以及多个模型家族。评估指标包括 状态覆盖率（学生 rollout 访问到的教师状态比例）、验证准确率 和 Top-k token 重叠率 等。对比基线为全数据 OPD 和固定状态集的消融。

关键发现

• 单 query 训练即可覆盖 71.5% 的全数据状态空间，且大部分在最初 100 步内完成。
• 增加语义多样 query 可提升覆盖率和准确率；16 个 query 达到 98.9% 覆盖率并匹配全数据训练效果。
• 学生与教师对齐速度随训练步数 持续放缓，且放缓曲线在单 query 与全数据集上几乎一致。
• 即使固定状态集不变，学生吸收这些状态仍需数百步，表明 OPD 是 算法饥饿 而非数据饥饿。

与基线对比解读

全数据 OPD 相比单 query 并未显著加速对齐过程，仅扩大了状态覆盖。这颠覆了“更多数据 → 更快收敛”的直觉：训练数据的作用主要是快速暴露广泛的教师监督信号，而学生模型吸收这些信号的速度是瓶颈。该发现与 one-shot RLVR 的工作形成对照，后者在相同 query 上提取的信号更少。对工程实践的启示是：应更多关注 OPD 的 步效率 优化（如调整学习率调度、正则化、初始化），而非一味扩充数据规模。

行业影响

落地场景

On-policy distillation (OPD) 在数据极小化下的发现可直接迁移到需要快速领域适配的产品中。例如：

• 电商平台的智能客服：用少量用户咨询种子 query 蒸馏模型，快速覆盖新品类问答，无需积累大规模标注。
• 代码生成助手：针对特定代码库或框架，用几个典型 prompt 即可蒸馏出符合内部规范的学生模型。
• 企业知识库问答：从少量种子问题出发，生成 rollout 并蒸馏，降低人工采集成本。

商业价值

• 降本：数据采集与清洗成本大幅下降，单一 query 即可恢复 70%+ 收益，16 个语义多样 query 可匹配全量数据效果。
• 增速：模型迭代周期缩短，适配新业务或新领域时无需长时间数据积累。
• 体验提升：模型更贴合真实用户分布，响应质量稳定。

但论文指出 student absorption rate 缓慢，训练步数并未减少，说明算力成本仍高。未来若优化 step efficiency，可进一步降低训练成本。

与现有产品/工作流的接口

集成方式：

1. 在现有 RLHF/蒸馏 pipeline 中，用少量高质量 query 替换大规模 prompt 库，进行 on-policy 采样与 token 级监督。
2. 与 teacher model 部署协同：teacher 提供 logits 或序列级反馈，student 用 rollout 生成状态，仅需少数种子 query。
3. 可结合 state coverage 指标监控训练质量，在覆盖率足够时提前停止数据扩充，转向算法效率调优。

注意：当前 OPD 的瓶颈在算法吸收速率，工程上应关注提升 step efficiency 的方法（如优化器、课程学习、正则化等），而非一味堆数据。

局限

• 该研究的结论主要建立在有限的模型家族和任务域上，虽然摘要声称跨任务域和模型家族鲁棒，但实验中的模型规模与类型可能仍不足以覆盖生产级大模型，如百亿参数以上的模型或异构架构。状态覆盖率的计算依赖特定的状态定义和 token 级对齐度量，这些度量可能忽略语义层面的重叠与差异，导致对真实对齐程度的估计存在偏差。此外，单查询训练虽然恢复了大部分 full-data OPD 的增益，但未能证明这一现象在更复杂、开放域任务或长时程训练中同样成立。
• 论文清晰地诊断出 OPD 是 algorithm-starved 而非 data-starved，但停留在现象层面，没有提出任何具体的算法改进方案或训练策略来缓解吸收缓慢的问题。例如，未探究学习率调度、优化器选择、正则化或架构修改对对齐速率的影响，也未给出可操作的工程建议。对于追求直接落地的从业者而言，这一发现虽富有启发性，但缺乏实际可执行的步骤来提升 OPD 的 step efficiency。
• 与同类数据高效蒸馏或 RL 方法（如 off-policy distillation、合成数据生成、自我训练等）缺乏系统对比，无法明确单查询 OPD 在数据极少情况下的相对优势或劣势。同时，单查询模型的性能提升可能部分源于 teacher 提供的先验偏差，而非学生自身泛化能力的真实提升，缺少与纯自训练或非蒸馏基线的对照实验，可能高估了 OPD 在极限数据条件下的价值。