无需搜索的锐化：序列级幂分布的在策略蒸馏

TL;DR 本文提出 OPPD，将 power distribution 的多候选采样增益通过 on-policy 蒸馏压缩进单次生成，无需参考答案即可在数学推理上提升最多 27.3 点，并可与 GRPO 互补。

问题

问题背景

当前推理阶段的研究热点是在不增加推理成本的前提下提升语言模型的生成质量，尤其是数学与代码等需要多步推理的任务。

现有方法局限

• Power sampling 通过提高完整答案的概率幂次（sharpening）来偏置采样，但每次查询需要生成并评分大量候选（如 64 个），推理时计算开销大，难以部署。
• 普通的 on-policy distillation 虽然能将教师行为蒸馏到学生模型，但吸收的 sharpening 指数仅约 1.14，远低于目标（1.19–2.02），无法将序列级 power distribution 充分迁移。
• 在 token 级别上的加权 KL 损失无法达到序列级 power distribution，因为规范化常数涉及整个序列空间。

为什么这个问题难/重要

序列级分布的归一化需要蒙特卡洛估计，训练梯度的高方差与采样效率是关键挑战；同时，如何在不降低准确率的情况下将多候选推理压缩为单次生成是工业落地的核心诉求。该工作提出的 On-Policy Power Distillation (OPPD) 利用序列蒙特卡洛采样器，在训练时让模型生成候选并用冻结教师的 power distribution 加权更新，从而在单次生成中重现多候选采样的效果，实验显示在 MATH500 上未训练模型提升 23.0 个点，并超过 64 候选 power sampling 2.4 个点。

行业类比

类似将多个模型的集成投票能力蒸馏到单个轻量模型，以减少线上推理延迟，同时保持近似集成效果。

核心洞察

• 将推理时幂分布采样（power sampling）的多候选搜索能力蒸馏进单次生成，用 on-policy 蒸馏让模型学会输出自身分布中被 sharpening 选中答案，而不是依赖外部参考或仅靠温度调节。与普通蒸馏只拟合教师分布不同，本文通过 sequential Monte Carlo 采样让训练梯度直接对齐幂分布下的期望答案，且权重基于模型自身生成概率动态更新，使 student 能吸收高于 1 的 sharpening exponent（实测 1.19–2.02），在数学与代码任务上单次生成超越 64 候选 power sampling 的效果，证明搜索时的采样增益可以被参数化。
• 与 GRPO 等基于验证奖励的强化学习相比，OPPD 不需要任何参考答案或真实标签，仅用冻结教师模型的概率分布即可构造训练信号。在同等 checkpoint 与预算下，OPPD 在 MATH500/GSM8K/AIME 上比 GRPO 高 3.8/4.0/5.4 分，且两者互补：先 GRPO 后 OPPD 可额外提升最多 9.3 分。这揭示了一种训练信号来源的新维度——不再依赖外部奖励或人类偏好，而是利用模型自身概率结构的幂变换来引导探索，对无法定义显式奖励的开放域推理任务极具工程价值。

方法

方法概述

输入：学生模型（待训练）、冻结教师模型（同源 checkpoint）、问题提示集合。

关键模块：

• On-policy 候选生成：学生模型以固定温度采样多个完整答案序列。
• Power distribution 加权：教师模型计算每个候选的序列概率，应用 sharpening（幂次 >1 后归一化），将概率质量集中到更可能的答案。
• Sequential Monte Carlo (SMC) 采样器：为了高效近似 power distribution 下的期望，SMC 沿 token 逐个生成并重采样，权重由教师模型计算，有效样本量监控分布匹配程度。
• 加权最大似然损失：将 SMC 产生的权重作为每个候选的系数，对学生模型进行序列级最大似然更新。梯度中权重视为常量（stop-gradient），避免通过 SMC 反向传播。

输出：训练后学生模型在单次生成时已吸收 sharpening 效果，无需推理时搜索多候选。损失系数 λ 控制吸收的 sharpening 指数（1.19–2.02）。

差异点：区别于普通 on-policy 蒸馏（仅模仿教师温度1分布）和基于 verified rewards 的 GRPO，OPPD 通过序列级 SMC 加权直接让学生模型向 power distribution 靠拢，无需外部奖励信号。

实验

实验设计

OPPD 采用 on-policy sequential Monte Carlo 采样：被训练模型生成候选，冻结教师按 power distribution 加权，并以相同权重更新模型。评估覆盖数学推理数据集 MATH500、GSM8K、AIME，以及代码生成 HumanEval；基线包括同温度未训练模型、64-candidate power sampling、以及使用 verified rewards 的 GRPO。

关键发现

• 单次生成准确率相对未训练模型大幅提升：MATH500 +23.0 点、GSM8K +27.3 点。
• 单次生成超过 64-candidate power sampling 达 +2.4/+3.5 点，并回收未训练模型 16-candidate 增益的 94%。
• 与 GRPO 相比，同 checkpoint/budget 下 MATH500 / GSM8K / AIME 分别高 +3.8 / +4.0 / +5.4 点，且无需参考答案；OPPD 在 GRPO 后追加可再增最多 9.3 点。
• 仅用数学数据训练的模型在 HumanEval 上准确率提升至多 5.3 点，体现跨任务泛化。
• 对已用 verified rewards 训练的模型，降低温度无增益，但 OPPD 仍带来 MATH500 +4.4 点。

与基线对比解读

OPPD 的核心价值在于把推理时多次采样+锐化重排的增益蒸馏为单次生成能力，避免了高计算开销。相比 GRPO，其 reference-free 特性更适合开放答案任务；两者可互补，组合策略有显著叠加收益。实验同时显示，模型吸收的 sharpening exponent 随 loss coefficient 在 1.19–2.02 间变化，而普通 on-policy distillation 仅为 1.14，证明 OPPD 有效传递了 power distribution 的锐化行为。

行业影响

落地场景

• 实时推理服务：如教育解题助手、代码补全、金融问答等，OPPD 将 power sampling 的增益蒸馏到单次生成，单次推理即可获得接近多候选采样的准确率，适合对延迟敏感的场景。
• 在线教育：学生提交数学题，系统需秒级返回解答。传统 power sampling 需生成 16-64 个候选再筛选，成本高、延迟大；OPPD 训练后模型单次生成即可达到类似准确率，支撑高并发实时服务。
• 企业级代码助手：论文显示仅用数学数据训练 OPPD 后，HumanEval 提升 5.3 点，说明可迁移到代码生成，适用于 IDE 插件或 CI 集成。

商业价值

• 成本降低：推理阶段从多候选采样减少到单次生成，GPU 推理成本降低约 94%（从 16 候选到 1 候选），同时准确率不低于原模型多候选。
• 体验提升：响应延迟从 O(候选数) 缩短到单次生成延迟，实时交互更流畅。
• 增收机会：对于按 token 计费的 API 服务，单次生成准确率高可减少无效 token 浪费，提高客户满意度与留存。

与现有产品/工作流的集成

• OPPD 作为后训练阶段，可插入现有 SFT/RLHF 流程中。无需人工标注或参考答案，只需已有教师模型，与 GRPO 等方法兼容，可叠加使用。
• 论文提供开源代码 OPPD GitHub，基于常见训练框架，可复用现有数据管线。
• 对已部署的模型服务，可通过模型热更新替换为 OPPD 微调后的权重，无需改动推理架构。
• 关键参数 λ 控制吸收的 sharpening 指数，可根据业务场景调整，平衡准确率与多样性。

局限

• 计算开销与训练复杂度：OPPD 在训练过程中需要运行**sequential Monte Carlo (SMC)** 采样器，并依赖冻结的**教师模型**计算 power distribution 权重，相比普通 SFT 或 GRPO 增加了多次前向传播和采样的计算负担。论文未详细报告训练时间、显存占用与吞吐量对比，实际工程部署时可能需要额外优化（如缓存教师输出、减少候选数量）。
• 依赖教师模型质量与任务对齐：OPPD 的核心是向教师模型的 power distribution 蒸馏，若教师模型在目标任务上能力不足或分布偏移，会限制学生模型的上限。论文仅在数学推理（MATH500、GSM8K、AIME）和有限代码生成（HumanEval）上验证，跨领域（如多语言、开放域对话）的迁移效果未知。
• 超参数敏感性与泛化性：方法通过损失系数 λ 间接控制 absorbed sharpening exponent（实测 1.19–2.02），但不同任务、模型规模可能需要重新调整。论文中 λ 的选择基于验证集，实际应用中难以先验确定。此外，实验主要覆盖 Qwen2.5 系列，其他模型家族仅部分验证，缺乏更广泛的鲁棒性证据。