On-Policy 参数更新方向构成 LLM 后训练泛化能力的基础

TL;DR 发现 on-policy 后训练泛化强的关键在于参数更新方向随训练动态调整，提出 OPSFT 将 SFT 更新约束到该方向，使 SFT 同样获得强泛化，且保留高效率与利用高质量轨迹的优势。

问题

问题背景

当前 LLM 后训练领域高度关注 on-policy 方法（如 PPO、GRPO）与 SFT 在泛化性能上的差异。on-policy 训练通常表现出更强的分布外泛化能力，但其计算开销大，难以直接扩展到大规模数据或高质量静态轨迹。

现有方法局限

• SFT 在固定数据集上优化，参数更新方向高度一致，容易陷入对训练分布的过拟合，泛化边界有限。
• 现有的 on-policy 训练 虽然通过持续采样调整更新方向获得更好泛化，但代价是高昂的在线交互成本和复杂训练流程。
• 以往研究将 on-policy 中的参数更新行为视为“副产物”，未提炼为可迁移的优化原则，导致无法将 on-policy 的泛化优势低成本地注入其他范式。

为什么这个问题难/重要

• 参数更新方向与泛化能力之间的因果关系需要通过理论分析和实验剥离；单纯模仿 on-policy 的样本分布或损失项并不能保证迁移其更新方向特性。
• 业界迫切需要一种兼顾 训练效率 和 数据灵活性 的后训练策略：既能用少量 on-policy 步骤识别关键方向，又能利用高质量静态轨迹继续优化模型而不破坏已有能力。

行业类比

类似于在数学推理模型后训练中，先用强化学习少量探索确定策略梯度主方向，再通过约束 SFT 沿着该方向蒸馏专家轨迹，从而在保持推理性能的同时大幅降低训练成本。

核心洞察

• 将 on-policy 后训练的泛化优势归因于**参数更新方向的持续调整**，而 SFT 通常沿一致方向更新，这为移植泛化能力提供了新的优化原则。与以往仅将 on-policy 更新行为视为副产物的研究不同，本文将其提炼为可迁移的约束：通过提取 on-policy 训练中每个参数的累积更新方向，并约束 SFT 更新沿该方向进行，即可在 SFT 框架下复现 on-policy 的泛化表现。该视角将泛化从训练范式解耦，建立了一种与具体算法无关的方向先验。
• OPSFT 提供了一种兼顾泛化与效率的实用方案：仅需少量 on-policy 步骤确定累积更新方向，后续即可用 SFT 沿该方向优化，避免了全程 on-policy 训练的高昂成本。同时，该方法允许利用高质量离线轨迹继续微调模型，且不破坏已学到的泛化能力。相比纯 on-policy 训练或纯 SFT，这一策略在计算预算与数据利用上取得了更灵活的平衡，尤其适合资源受限或已有高质量数据集的场景。

方法

输入

基础模型、少量 on-policy 训练步产生的参数更新轨迹、以及用于后续监督微调的高质量数据集。

关键模块

1. 累积更新方向识别
   在 on-policy 范式（如 PPO/GRPO）下进行若干训练步，记录每个参数从初始值到当前值的累积更新向量。与 SFT 中参数始终沿一致方向更新不同，on-policy 训练会持续调整方向，因此该累积方向编码了任务相关的泛化信息。

2. 方向约束 SFT（OPSFT）
   在标准监督微调中，对每个参数的梯度施加约束：只允许参数沿已识别的 on-policy 累积方向更新，禁止正交或反向分量。实现上可将梯度投影到目标方向，或使用符号掩码限制更新符号。若某参数累积方向接近零，则冻结该参数。

3. 高效应用与高质量轨迹利用

   • 只需少量 on-policy 步骤即可获得有效方向，之后用 OPSFT 完成大部分训练，显著降低整体计算开销。
   • 对已完成 on-policy 后训练的模型，可继续用高质量 SFT 轨迹沿既有方向微调，不会破坏原有泛化能力。

输出

一个经过监督微调的模型，其参数更新方向受 on-policy 约束，泛化性能接近 on-policy 训练，同时兼具 SFT 的训练效率和离线数据利用能力。

与梯度投影或参数高效微调方法不同，OPSFT 不修改模型结构，也不仅约束梯度范数，而是直接迁移 on-policy 累积更新方向这一可泛化的优化信号到 SFT 过程中。

实验

实验设计叙述

作者设计两类验证场景：一是通过少量 on-policy 训练步骤获取各参数的累积更新方向，再将其作为约束应用于 SFT（即 OPSFT），以检验能否提升泛化；二是将 OPSFT 用于已有 on-policy 后训练模型，继续用高质量轨迹训练而不破坏已学能力。对比基线包括普通 SFT 与标准 on-policy 后训练。

关键发现

实验表明，SFT 在训练中参数更新方向高度一致，而 on-policy 范式持续调整方向；将 on-policy 的累计更新方向迁移到 SFT 后，模型泛化显著提升。即使仅用少量 on-policy 步骤识别方向，OPSFT 也能实现接近 on-policy 的泛化，同时保持 SFT 的高训练效率。此外，OPSFT 能利用高质量轨迹继续优化，而不破坏 on-policy 已学到能力。

与基线对比解读

与标准 SFT 相比，OPSFT 的核心差异在于约束参数更新方向，而非只拟合数据标签；这说明泛化优势来自更新方向这一优化先验。与完全 on-policy 训练相比，OPSFT 省去了持续的采样与方向调整，大幅降低计算开销，同时保留了大部分泛化收益。该工作将 on-policy 的行为从“副产品”提升为可迁移的优化原则，为监督微调场景提供了新思路。

行业影响

落地场景

• LLM 微调 / 对齐：OPSFT 可用于指令微调、偏好对齐与领域适配，尤其适合需要强泛化但预算受限的团队。例如电商智能客服模型需要在小规模高质量人工标注上微调，但上线后面对长尾咨询泛化不足；内容平台的内容生成模型需持续利用编辑反馈轨迹提升质量。
• 高效率 RLHF 替代：仅需少量 on-policy 更新步骤即可提取方向，后续用 SFT 约束更新，避免全量 PPO 等复杂在线训练。

商业价值

• 降本：相比完整 on-policy 后训练（如 PPO），OPSFT 大幅减少采样与训练步数，降低算力成本；支持用更少高质量数据达到相近泛化，减少人工标注投入。
• 增效：让 SFT 获得 on-policy 的泛化优势，提升模型在开放场景下的稳定性与用户满意度，加速迭代周期。

接口与集成

• 现有训练栈（HuggingFace Transformers、DeepSpeed、Megatron）中作为微调插件：先用少量 RL 步（如 GRPO/PPO）获取参数累积更新方向，保存为方向向量；然后在标准 SFT 阶段添加方向约束正则项或梯度投影。无需重构数据管线，可复用现有 SFT 数据与 checkpoint。
• 论文提供伪代码（Appendix A.4），可封装为 OPSFTTrainer 类，与现有 Trainer 接口兼容。

具体落地用例

• 电商智能客服助手：使用少量在线用户交互日志（on-policy 探索）识别泛化方向，再用历史高质量人工坐席对话做 SFT，使模型对新品咨询、售后政策变更有更好泛化，同时保持低训练成本。
• 企业知识库问答系统：用少量检索增强的在线反馈提取方向，再约束微调，使模型在未见过的问题上减少幻觉，提升回答可靠性。

局限

• OPSFT 的有效性依赖 on-policy 方向识别阶段。即使只需少量 on-policy 训练步骤，也需要具备在线采样能力（如奖励模型或可交互环境），这在无奖励模型或纯离线数据场景下难以应用。此外，识别出的方向质量受 on-policy 训练超参数（如 KL 系数、学习率、采样温度）影响较大，论文未系统分析这些因素对方向稳定性和最终泛化性能的影响，可能限制方法在不同任务上的迁移。
• 论文实验主要在数学推理、编程等结构化生成任务上验证，尚未覆盖开放域对话、安全对齐、长文本生成等更广泛场景。模型规模也局限于 Llama-3 等特定系列（如 8B 模型），缺乏对更大模型或不同架构（如 MoE）的验证。与现有高效微调和偏好优化方法（如 LoRA、DPO、KTO）的对比不够充分，难以确认 OPSFT 在训练效率与性能上的综合优势。
• OPSFT 本质上是一种参数更新方向约束，与已有梯度投影记忆（GPM）或子空间正则化方法有相似思路。累积更新方向作为粗粒度全局约束，忽略了参数之间、层之间的细粒度结构调整，可能降低模型在分布外任务上的灵活适应能力。此外，如何选择最优方向数量、方向是否随时间漂移等关键问题缺乏理论分析，使得方法在更复杂场景下的泛化性存疑。