密集监督，稀疏更新：关于策略内蒸馏的稀疏性和几何性

TL;DR On-policy 蒸馏 (OPD) 虽然使用稠密教师监督，但其参数更新出人意料地稀疏，集中在 FFN 且几何上偏离主奇异方向，表明稠密监督并未导致稠密参数重写。

问题

后训练阶段的大语言模型（LLM）对齐，目前高度依赖蒸馏与策略优化（如 RLVR、GRPO）的组合。其中，在线策略蒸馏（OPD）通过同时引入学生模型自身的采样轨迹和教师全序列概率监督，在数学推理、视觉问答等任务上表现出优于传统离线蒸馏的效果。但一个核心盲区是：这类混合式更新如何改变模型参数？缺乏机制理解导致调参依赖经验、无法解释为何 OPD 在 AdamW 下稳定而 SGD 表现骤降，也难以利用稀疏性去设计更高效的训练方案。

现有方法的局限

• 离线蒸馏：仅用教师固定输出分布，忽略学生自身生成的样本，无法覆盖学生错误分布，容易在分布外区域过拟合。
• 纯策略优化（如 RLVR）：梯度更新稀疏且归一化特性强，SGD 就能工作，但监督信号仅来自稀疏奖励，样本效率低。
• 二者简单结合：直接对 OPD 做参数分析时，先前工作要么只观察宏观指标（如 loss、score），要么套用 RLVR 的稀疏性结论，忽略了密集教师监督会彻底改变梯度的二阶矩结构和坐标级稀疏模式。事实上，OPD 的更新既不像离线蒸馏那样均匀密集改写全部参数，也不像 RLVR 那样几乎仅更新少数关键神经元，其独特的“小幅度、跨层分散、FFN 偏好”的坐标稀疏性，以及远离源权重主成分、集中于近零坐标的几何特征，尚未被系统刻画。

难度与重要性

从工程视角看，OPD 参数更新规律直接决定子网络抽取的可行性、优化器选择以及模型压缩/扩展策略。如果更新是稀疏的，那么可以只训练一部分参数，从而大幅降低显存与通信开销；如果几何上它偏离主成分子空间，则传统低秩近似（如 LoRA）可能失效，需要重新设计参数高效微调方案。技术难点在于：需要在不同规模（1B–72B）、不同模态（纯文本与视觉-语言）的多组模型对上，同时量化稀疏度和几何结构性，并排除验证任务过拟合造成的伪稀疏。此外，OPD 密集监督保留了各坐标梯度尺度的高度异质性，使得去除了自适应动量的 SGD 训练剧烈震荡，这解释了为何在 RLVR 中表现不错的 SGD 在 OPD 下衰退，为优化器选择提供了原则性依据。

行业类比

这类似于在大模型持续部署场景中，需要在不影响主分支的情况下快速注入新领域知识：如果能预先确定 OPD 仅改动部分 FFN 与注意力模块的子集，就可以像“只替换插件”般更新模型，而不必全量重训，这对 MLOps 中的模型热更新与多租户定制有直接启示。

核心洞察

• OPD 的参数更新是**坐标稀疏**且**跨层分布**的，训练发现的稀疏子网络几乎能恢复完整微调的性能。这与常规全参数密集更新形成鲜明对比，表明即便在密集教师监督下，OPD 本质上仍是一种稀疏适配过程。此前 RLVR 等方法也观察到稀疏性，但 OPD 的稀疏模式更结构化——FFN 模块更新相对更大，且稀疏支持与优化器选择强相关：SGD 在此稀疏设置下表现不如 AdamW，可能因为教师密集监督保留了梯度的异质二阶矩，需要自适应学习率。这一发现对工程落地有直接启发：OPD 后可通过仅保留关键参数实现极致模型压缩，同时提示了定制优化器的设计空间。
• OPD 更新在数值上是**满秩但谱集中**的，并且偏移方向**远离源权重的主奇异子空间**，同时不成比例地落在源权重接近零的坐标上。这种几何特征与标准密集微调截然不同，后者往往在主要成分方向上大幅移动；OPD 则更像在边缘坐标进行“刻痕”，保留了源模型几何结构。这解释了 OPD 为何能兼顾对齐质量与通用能力保留：它不会覆盖预训练权重的主方向信息，而是在弱支撑区域注入新知识。这种几何特征也为参数高效微调（PEFT）方法的选择提供了理论依据，例如可设计仅在低幅度权重上进行适配的策略，或利用谱信息约束更新方向，从而提升后期训练的效率与稳定性。

方法

本文提出了一套系统化分析框架，用于量化 On-Policy Distillation (OPD) 的参数更新模式，而非设计新的训练算法。该框架以 OPD 训练前后的模型参数差 Δ 为核心分析对象，依次从稀疏性和几何特性两个维度展开。

输入：一组教师-学生模型对（语言模型与视觉-语言模型），在 OPD 训练后得到的学生模型，以及对应的源模型。

关键模块：

1. 稀疏性分析

   • 计算更新矩阵的全局范数（如 Frobenius 范数）与坐标级活跃度（非零比例、Gini 系数），量化整体稀疏程度。
   • 按层类型（Attention、FFN）和深度位置统计更新幅度分布，识别哪些模块承担主要变化。
   • 引入“可见更新掩码”概念：通过设置不同阈值筛选出被显著修改的参数子集，并与强化学习验证奖励（RLVR）中常用的掩码进行重叠度比较。
   • 子网络恢复实验：仅在该稀疏掩码标识的子网络内微调，验证稀疏子结构是否足以匹配完整 OPD 的性能。
   • 优化器消融：对比 SGD（已知在 RLVR 中具竞争力）与 AdamW，分析密集教师监督是否使自适应矩估计仍必要。

2. 几何分析

   • 对权重矩阵进行奇异值分解（SVD），计算有效秩与谱集中度指数，判断更新是否为数值上的低秩扰动。
   • 通过投影到源权重的主奇异子空间，量化更新方向上偏离主成分的程度。
   • 按坐标统计更新幅度与源权重大小的关系，检验更新是否侧重原本接近零的参数。

输出：详尽的稀疏性指标（稀疏度百分比、层级/模块分布、子网络可恢复性）、几何特征（谱集中程度、与源主方向的偏移量、对零值坐标的偏好）。

与传统的知识蒸馏分析方法相比，本框架不仅关注更新的幅度，更通过掩码发现、秩分析和子空间比对揭示 OPD 特有的稀疏但全秩、远离主成分的性质，为理解 on-policy 蒸馏的非平凡参数动力学提供了结构化工具。

实验

实验设计

本文以 On-Policy Distillation (OPD) 的参数动态为核心，跨多个语言模型与视觉-语言模型对开展分析。实验遵循标准化后训练流程：使用学生模型的自回归生成轨迹（on-policy）与教师模型的稠密监督（dense supervision）进行蒸馏，记录更新后的参数变化。分析维度包括：

• 更新量的全局范数与坐标稀疏度
• 按层与模块（Attention / FFN）的分布
• 与 RLVR 更新掩码的重叠
• 仅微调发现的子网络能否恢复完整 OPD 性能
• 优化器消融：AdamW vs SGD
• 更新量的秩近似、谱集中度及相对于源权重的几何偏离

其中，Qwen2.5-VL 作为代表性 VLM 参与了子网络实验（见附录）。

关键发现

稀疏性方面，OPD 更新呈现两大特征：

• 坐标稀疏：大部分参数坐标的更新幅度极小，有效更新仅集中在少数坐标上。
• 跨层分布且 FFN 偏重：更新分散在所有层，但相对移动幅度最大的部分通常位于 FFN 模块。

这种稀疏结构具备操作意义：仅对发现的子网络进行训练即可近似恢复完整的 OPD 性能。然而，稀疏更新并未消除对自适应优化的需求——在优化器消融实验中，SGD 显著弱于 AdamW，说明稠密教师监督仍保留了各坐标梯度尺度的异质性，使得 AdamW 的自适应二阶矩估计成为优势。

几何方面，尽管更新矩阵在数值上是满秩的，其谱能量高度集中，且更新方向大多偏离于源权重的主奇异子空间，不成比例地落在源权重接近零的坐标上。这表明稠密教师监督并未将 OPD 退化为普通的稠密参数改写，而是保留了 on-policy 后训练的几何印记。

与基线对比解读

与常见的 SFT 或离线序列级 KD 相比，OPD 的独特之处在于它结合了 on-policy 轨迹与稠密监督。本研究的参数分析表明，这种混合并未导致模型参数的剧烈重写；相反，其更新模式更接近微调中的“低秩适应”特性（谱集中、偏离主方向），但又具有跨层的全局稀疏性。

与 RLVR 的对比尤为突出：RLVR 更新更集中于某些层，且 SGD 表现有一定竞争力；而 OPD 的更新更均布于各层，且 SGD 失效，这暗示稠密教师信号从根本上改变了梯度结构——保留了适合 AdamW 的不同坐标尺度差异。这一认识对于后续设计 OPD 的轻量化变体（如只有子网络或更高效优化器）具有直接指导意义。

行业影响

稀疏更新如何改变模型后训练的工业实践

落地场景

On-policy distillation (OPD) 的稀疏更新特性可直接作用于以下工业环节：

• 模型部署与热更新：云端或边缘设备上的 LLM/VLM 频繁迭代时，仅传输和加载稀疏的 delta 权重（如仅更新 FFN 中的部分行），大幅降低 I/O 与存储开销。
• 多任务适配与 A/B 测试：在企业级模型平台中，针对不同业务场景的 OPD 微调可生成一系列轻量子网络，同一个基座模型只需动态加载不同 mask 即可服务于多个下游任务。
• 知识蒸馏的工程化：将教师模型（如大参数量模型）的知识蒸馏为学生模型（参数量更小）时，稀疏更新表明蒸馏成本可进一步压缩：仅训练学生模型中的关键子网络，而不必全参数反向传播。

商业价值

• 降本：稀疏 OPD 更新使训练所需的显存和算力下降（例如子网络训练恢复 95%+ 性能，但参数量可能减少 30%–50%），加速迭代周期，降低云 GPU 租赁成本。
• 体验提升：移动端应用可更快获取新版本模型，降低下载流量；同时，稀疏结构有利于硬件加速（如结构化稀疏适配 NPU），提升端侧推理能效比。
• 增收：对内容平台或电商客服模型，稀疏更新允许以极低成本持续注入领域新知识，保持模型新鲜度，间接提升用户留存与转化。

与现有工作流的接口

• 训练框架：可直接在 PyTorch 或 JAX 训练循环中加入 子网络选择模块：先用全量 OPD 训练几个 step，根据梯度幅值或激活值生成稀疏 mask，随后冻结 mask 外的参数，仅更新被选中的权重。
• 优化器选择：研究发现 AdamW 优于 SGD，因此建议保留现有 AdamW 流程，仅加入稀疏掩码，无需更换优化器。
• 模型存储与分发：更新产物变为 base 权重 + 稀疏 delta + mask 索引，文件大小显著减小，可无缝对接现有模型注册中心（如 MLflow、Hugging Face Hub），只需增加索引解析逻辑。

具体落地使用案例

• 电商搜索排序模型更新：大型电商平台每隔数日需用新交互数据微调推荐 LLM。采用 OPD 稀疏更新，可将回传至 GPU 服务器的更新包从数 GB 压缩到数百 MB，减少传输延迟，允许更频繁的夜间更新。
• 教育领域 AI 助手的个性化适配：为不同学科（数学、编程）定制同一基座模型时，仅需保存两个轻量稀疏 mask 和对应 delta，服务端根据用户上下文动态选择 mask 进行推理，大幅降低并发加载多个全量模型的内存压力。

局限

• **实验覆盖范围有限**：分析仅限于三组模型对（LLaMA-3.1-8B/70B 蒸馏、Qwen2.5-VL-7B 蒸馏和 RLVR 对比），且任务以数学推理、指令跟随为主。尽管作者观察到一致的稀疏与几何模式，但这些发现是否泛化到更大模型（如 405B 规模）、更多样化的任务（如代码、多模态生成）或不同的 on-policy 蒸馏变体仍有待验证。此外，稀疏子网络的选择依赖于基于分位数的阈值，其最优设定可能随模型和数据集漂移，论文未对此进行系统性消融。
• **优化器对比局限**：在 AdamW 与 SGD 的消融中，仅比较了最终性能，未深入分析优化器动态（如二阶矩估计如何影响稀疏更新分布）。SGD 的劣势可能源于学习率调参不足，而非自适应优化特性的本质缺失；并且论文未探讨其他可能更适合稀疏更新的优化器（如 signSGD、LION 等）。因此，结论“AdamW 对 OPD 不可替代”需要更谨慎的解读。
• **静态快照分析的盲区**：全文分析基于训练完成后的参数变化量（delta），属于静态视角。尽管这可能反映训练主导方向，但缺乏对训练过程中参数逐步演化的追踪（如稀疏性如何形成、子网络何时稳定）。这使得无法排除早期密集更新、后期稀疏收缩等动态现象，对实际工程中如何动态调整训练策略指导有限。