重新思考 On-Policy Diffusion Distillation 中的 Classifier-Free Guidance

TL;DR 揭示 On-Policy Diffusion Distillation 中 CFG 生成的负分支非对称问题，并提出分支感知的 Positive–Direction Matching 目标，实现更鲁棒的知识迁移。

问题

扩散模型的 On-Policy 蒸馏 (OPD) 近期成为高效生成研究的热点，它通过让学生模型沿自身采样轨迹匹配教师，实现更稳定的知识迁移。然而，分类器自由引导 (Classifier-Free Guidance, CFG) 作为现代扩散系统的默认生成策略，在 OPD 框架下如何有效整合仍未被充分理解。

现有 OPD 方法直接对学生与教师 CFG 组合后的速度进行匹配，忽略了对正分支（条件预测）和负分支（无条件或负面条件预测）的显式约束。这种组合目标在分支层面是欠定的：正、负分支的误差可以相互补偿，导致看似匹配良好的引导速度，实则隐藏了分支预测的结构性偏差。尤其在教师负分支包含学生无法获取的特权信息时（如教师利用额外训练数据或更强先验），直接匹配会引发负分支非对称性 (Negative Branch Asymmetry, NBA)——正分支误差下降，负分支误差反而上升。这使得蒸馏模型在推理时对引导尺度高度敏感，弱化甚至逆转 CFG 带来的质量提升。

该问题的关键挑战在于，CFG 的效果依赖于两个分支的精确平衡，而 OPD 的在线采样特性放大了分支间的梯度冲突，导致监督信号非最优分配。业界对轻量级扩散模型的部署需求迫切，若无法解决 CFG 下的蒸馏脆弱性，将限制高效生成模型在实际系统中的应用。

类似场景可见于多教师知识蒸馏中，当不同教师模型提供的信息分布不一致时，简单匹配加权输出会造成学生模型内部表征冲突，最终损害泛化性能。

核心洞察

• **On-policy蒸馏中的CFG负分支不对称性**: 现有OPD方法直接匹配师生引导速度，但该目标在分支级别是欠识别的——正负分支误差可在引导预测中相互补偿。当教师负分支利用学生无法获取的特权信息时，会引发正分支误差下降而负分支误差上升的对抗动态（NBA），导致蒸馏失效。这首次揭示了CFG在on-policy框架下的分支级失效模式，与以往仅关注整体匹配损失的工作形成鲜明对比。
• **分支感知的正方向匹配（PDM）**: 提出的PDM目标独立约束正预测和CFG条件方向，打破分支误差补偿，在密集到稀疏视频控制任务中显著提升了对推理时引导尺度的鲁棒性。相比于直接匹配引导输出，这种解耦的监督方式实现了更稳定的知识迁移，为扩散模型on-policy蒸馏设计提供了新范式。

方法

Input: 学生扩散模型（参数可训练）、教师扩散模型（冻结）、在线策略蒸馏（OPD）轨迹（由学生采样），以及 CFG 合成预测所需的两个条件输入：正条件 $c^+$（如文本描述）和负条件 $c^-$（如空文本或特权信息条件）。

关键模块：分支感知的 OPD 目标（PDM）

1. 解耦引导预测为分支级分量
   不再直接匹配 CFG 合成速度 $v_{\text{guided}} = v_{\theta}(x_t,t,c^-) + w \cdot (v_{\theta}(x_t,t,c^+) - v_{\theta}(x_t,t,c^-))$，而是分别监督正分支速度 $v^+{\theta}$ 和条件方向 $\Delta v = v^+{\theta} - v^-_{\theta}$。

2. 正方向匹配损失设计

   • 正分支损失 $\mathcal{L}{\text{pos}}$：让学生 $v^+{\theta}$ 直接对齐教师的 $v^+_{\psi}$，确保核心生成能力。
   • 方向损失 $\mathcal{L}{\text{dir}}$：约束学生与教师的条件方向 $|\Delta v{\psi}| \cdot \frac{\Delta v_{\theta}}{|\Delta v_{\theta}|}$ 保持一致，但允许长度差异，仅强制方向对齐，避免负分支特权信息干扰正分支学习。
   • 总目标：$\mathcal{L}{\text{PDM}} = \mathcal{L}{\text{pos}} + \lambda \mathcal{L}_{\text{dir}}$，其中 $\lambda$ 控制方向匹配的权重。

3. 高效监督策略（用于稠密到稀疏视频控制）
   针对视频控制中正负条件高度非对称的场景，仅在部分时间步（supervision horizon）施加 PDM 损失，降低计算开销，同时保持鲁棒的引导尺度泛化。

Output: 经过分支感知蒸馏后的学生模型，其正分支预测质量提升，且 CFG 方向与教师对齐，缓解负分支不对称（NBA）问题，在推理时对不同引导尺度 $w$ 的敏感性显著降低。

与同类方法的差异点： 传统 OPD 直接匹配合成速度，导致分支误差互相补偿；PDM 首次引入分支级解耦监督，切断负分支特权信息对正分支的负面影响，实现更稳健的知识迁移。

实验

实验设计

• 设置两个对比场景分析 CFG 下的 OPD 行为：
  1. 共享负向条件：文本渲染蒸馏，教师与学生使用相同的负向条件。
  2. 特权负向信息：参考条件蒸馏，教师负向分支包含学生无法获取的参考图像等信息，导致信息不对称。
• 在密集到稀疏视频控制任务上评估分支感知 OPD 目标 PDM 的效果，测试不同推理引导尺度下的性能泛化。

关键发现

• 在共享负向条件时，直接匹配引导速度的 naive OPD 可使正负分支误差协同下降。
• 当存在特权负向信息时，naive 匹配因 负分支不对称（NBA） 导致正负分支误差此消彼长：正向误差下降，负向误差上升，整体引导预测质量受损。
• 提出的 PDM 分别约束正向预测和 CFG 条件方向，打破了误差补偿，使负向分支也得到优化，从而更鲁棒地传递教师知识。
• 在视频控制任务中，PDM 对推理时的 CFG 引导尺度变化不敏感，而 naive 方法性能随尺度偏移剧烈波动。

与基线对比解读

• 现有 OPD 方法（如直接速度匹配）在特权信息场景下会诱导负向分支退化，而 PDM 通过分离监督信号解决了这一隐式冲突。
• 定性实验表明，PDM 生成的视频在稀疏关键帧控制下结构更稳定、伪影更少，知识迁移效率显著提升，尤其在引导尺度偏移时优势明显。

行业影响

落地场景

On-policy diffusion distillation (OPD) 与 classifier-free guidance 的协同优化可直接应用于实时视频生成、高分辨率图像合成、交互式 AI 内容创作等场景。例如，短视频平台的智能剪辑工具、虚拟数字人驱动系统、游戏资产生成管线，都能受益于蒸馏后模型的低延迟推理。论文重点验证的 dense-to-sparse video control（由密集条件生成稀疏关键帧视频）在视频编辑、自动驾驶仿真数据生成等任务中具有明确需求；而 PDM（Positive-Direction Matching）使蒸馏过程对 CFG scale 更鲁棒，让模型在实际部署时无需精细调参，显著降低上线门槛。

商业价值

核心价值在于降本与体验提升：蒸馏后的小模型可将单次推理耗时压缩 50% 以上，直接降低云端 GPU 租赁成本或边缘设备能耗。对于按调用量计费的生成式 API 服务，相同硬件可支撑更高并发，单位成本下降。从用户体验看，CFG scale 鲁棒性意味着无论用户如何调整引导强度，输出质量保持稳定，减少反复调参的试错成本；在视频生成等连续帧合成任务中，更一致的质量也带来更流畅的观感，提升付费转化与留存。

与现有产品 / 工作流的接口

目前主流扩散模型训练框架（如 Hugging Face Diffusers）已内建 CFG 采样和蒸馏支持，PDM 可作为一个即插即用的损失函数插件集成进现有 OPD 流程。开发者只需替换原有 velocity matching loss 为 PDM，无需改动数据加载、模型架构或推理管道。对于已部署的 OPD 模型，可通过少次 fine-tuning 切换到 PDM 监督，快速修复 NBA 导致的负分支漂移问题。此外，PDM 对 guidance scale 的泛化能力也意味着训练时不必针对特定 inference scale 固化，模型可适应不同业务场景的实时调节。

具体落地用例

• 电商内容生成：某电商平台提供“商品动态展示视频”工具，商家上传稀疏关键帧（如服装平铺图、模特上身照），模型自动补全连贯视频。利用 PDM 蒸馏后的模型可在 T4 级别 GPU 上实时渲染，且当运营调整 CFG scale 以适配不同品类时，画质不会突变，保障批量产出的视觉一致性。
• 自动驾驶仿真：工程师需根据车辆轨迹和稀疏点云生成前向视角视频以训练感知模型。原生大模型在平衡生成质量与条件遵循时需反复试调 scale，而 PDM 蒸馏版本能在不同路况下保持稳定生成，降低人工校验成本，并可直接嵌入数据闭环流水线，实现低成本的海量仿真数据生产。

局限

• 论文对 **负分支不对称 (NBA)** 的分析和提出的 **Positive-Direction Matching (PDM)** 方法主要基于两类对比场景：共享负条件和教师特权负条件。实际 CFG 设计多样（如动态引导尺度、多条件组合），PDM 的泛化能力尚未在这些场景下验证，可能需针对不同 CFG 模式重新适配。
• PDM 引入了**方向匹配权重**和**监督时序范围**等额外超参数，且训练目标由正分支匹配和方向匹配两项加权组合，调参成本上升。论文虽通过消融实验探究了权重作用，但在不同规模模型或不同任务上，最优设定可能变化，工程落地时需额外调优。
• 验证任务局限在**稠密到稀疏视频控制**、**文本渲染蒸馏**和**参考条件蒸馏**，模型规模和任务多样性有限。PDM 在更大规模开放域文本到图像扩散模型（如 Stable Diffusion 3）或更复杂的工业级生成任务中的表现未经验证，其可扩展性仍存疑。