DRIFT: 解耦轨迹采样与重要性加权微调的高效多轮优化

TL;DR DRIFT 将 KL 正则化多轮 RL 目标等价转化为重要性加权 SFT，解耦 rollout 与优化，以离线监督学习效率实现媲美在线 RL 的多轮交互性能，大幅降低训练成本。

问题

多轮交互优化中的效率-效果困境

多轮交互 LLM 优化已成为 AI 部署的核心需求：用户或环境在多轮对话中提供轻量级反馈，模型需要从这些序贯信号中学习改进。然而当前主流范式面临尖锐取舍。

在线强化学习（RL） 能直接建模多轮动态，在每一个新回合采集完整轨迹并更新策略，理论上可以应对分布偏移与长期回报。但实际中，每一步优化都需从当前策略采样大量 校正轨迹，计算开销巨大，严重制约训练通量。

离线监督微调（SFT） 则先收集静态数据集后做一次或少量训练，效率极高，且实现简单。问题在于：当数据集由不同于目标策略的参考策略生成时，分布偏移会导致模型在新轮次中犯错并不断恶化——即 行为崩溃（behavioral collapse）。模型倾向于模仿参考策略的短视行为，而非最大化真实用户回报。

这一困境之所以难，是因为 多轮交互的信用分配 和 策略的自我一致性 在理论上需要通过在线采样来消解，而工程上越来越大的模型让在线采样变得不切实际。业界既需要 RL 的在线优化能力，又渴望 SFT 的离线计算效率。

类比：这就像自动驾驶的仿真训练——如果只用真实路测（在线 RL），成本不可承受；只用历史数据做行为克隆（离线 SFT），则遇到未见场景时会失控。我们需要一种方法保留仿真的大量覆盖和可重采样能力，同时对齐最终安全通行里程的回报。

核心洞察

• **KL 正则化 RL 与重要性加权 SFT 的理论等价性**：DRIFT 利用这一等价关系，将多轮交互优化从昂贵的在线 RL 转化为固定参考策略下的离线加权监督学习。与直接采用在线 RL（如 PPO 变体）的方法不同，DRIFT 不需要每次更新都采样完整的修正轨迹，而是通过预先采样的离线轨迹和基于回报的重要性权重，实现对多轮动态的有效建模，同时保持 SFT 的高效与稳定。
• **解耦 rollout 与优化阶段**：将轨迹生成（rollout）与策略优化解耦，允许重复使用同一批离线数据，并可灵活替换参考策略或调整权重计算方式。相比将 SFT 与 RL 硬性拼接的混合方案，这种解耦设计既保留了 RL 对序列级反馈的敏感性，又避免了在线探索带来的高方差和计算开销，并可直接利用已有 SFT 基础设施快速部署。

方法

输入与问题设定

DRIFT 针对多轮交互场景，输入为用户提示或环境上下文，模型需生成多步响应，并在每轮收到轻量反馈（如评分、修正指令）。目标是优化策略，使累积奖励最大化，同时避免在线 RL 的高昂采样成本和离线 SFT 的分布偏移与行为崩溃。

核心模块：解耦的 Rollout 与加权 SFT

DRIFT 将多轮优化拆解为两个解耦的阶段：

1. 离线轨迹生成 (Stage 1)：从一个固定的参考策略（如初始模型）采样完整的交互轨迹。每条轨迹包含多轮问答、环境反馈及最终回报，全部离线批量生成，消除每步更新时在线 rollout 的开销。
2. 加权监督优化 (Stage 2)：基于 KL 正则化 RL 目标导出重要性权重——权重正比于轨迹回报的指数函数（经过温度缩放）。在此离线数据集上，通过加权最大似然估计对策略进行 SFT，即最小化 - w * log π(a|s)，使高回报轨迹获得更高模仿概率。特定协议下（如终端修正场景）还引入终端步保留梯度分解，防止训练中早期步骤被错误弱化。

理论支撑

DRIFT 落实的核心洞察：KL 正则化 RL 的最优策略对应一个加权的行为分布，因此直接从该分布采样并加权拟合即可等价优化。这避免了传统在线 RL 中反复采样和优势估计的复杂流程。

输出与效率

最终输出为微调后的策略模型，可直接用于多轮交互。训练全程仅需一次离线 rollout 和标准 SFT 迭代，计算成本与普通 SFT 相当，但性能匹配甚至超越在线 RL 基线。

与同类方法的差异：DRIFT 通过固定参考策略将轨迹生成与策略优化彻底解耦，在离线 SFT 框架内实现接近在线 RL 的性能，解决了在线 RL 成本过高和离线 SFT 分布偏移的两难困境，且无需奖励模型或 critic 网络。

实验

实验设计

DRIFT 在多轮交互场景下进行评估，任务涉及语言模型与用户或环境的迭代交互，每轮提供轻量反馈信号。实验对比了三种方法：(1) DRIFT：使用固定参考策略离线采样轨迹、计算基于回报的重要性权重，并通过加权 SFT 优化策略；(2) 在线 RL 基线（如 PPO）：在每次更新时生成完整的纠错轨迹；(3) 标准 SFT：直接从人类偏好或正确行为数据中监督学习。评估维度包括最终任务成功率或胜率，以及训练过程的计算开销。

关键发现

DRIFT 在多轮任务上的表现匹配甚至超越在线 RL 基线，同时训练效率与标准 SFT 持平——产生一个数量级的加速。重要性加权机制有效缓解了离线数据上的分布偏移问题，避免了标准 SFT 常见的行为崩溃。此外，DRIFT 对超参数（如温度、回滚刷新频率）的鲁棒性良好，在不同难度和长度的多轮交互中均保持稳定提升。

与基线对比的解读

与在线 RL 相比，DRIFT 通过解耦 rollout 和优化步骤，避免了每轮更新都需实时生成新轨迹的高昂成本，将训练复杂度降至监督微调水平。与标准 SFT 相比，DRIFT 引入的重要性权重纠正了数据分布与当前策略之间的 mismatch，从而防止了逐轮累积误差导致的行为崩溃。这一设计使得 DRIFT 在真实多轮应用中更易部署，兼具 RL 的优化质量和 SFT 的简单高效，为交互式 LLM 的训练范式提供了实用折衷路线。

行业影响

落地场景

DRIFT 适用于所有需要多轮交互优化的 AI 产品，尤其适合用户或环境能提供轻量反馈的场景：

• 智能客服与对话系统：针对用户在多轮对话中的点击、评分或纠错信号，以极低成本持续优化对话策略，避免因离线 SFT 的行为崩溃导致对话质量下降。
• 教育辅助与个性化学习：根据学生多轮回答的正误与提问深度动态调整教学话术，提升学习体验。
• 内容生成与审核平台：通过编辑反馈循环优化文生文、文生图模型的多轮生成行为，如脚本迭代、设计稿修改。
• 交互式代码助手：根据开发者多轮调试反馈修正代码建议，提升单次采纳率。

商业价值

• 降本：完全离线生成 rollout 轨迹，免去在线 RL 每步都需采样昂贵完整轨迹的开销，训练成本逼近标准 SFT，适合资源敏感型团队。
• 增收：模型持续适应动态交互，提升用户粘性与转化率（如电商导购机器人通过多轮推荐提升客单价）。
• 体验提升：避免行为崩溃，保持输出一致性与策略稳定性，降低因模型退化导致的用户流失风险。

与现有产品/工作流的接口

DRIFT 可直接嵌入现有 LLM 微调 pipeline：

• 数据侧：复用历史交互日志或离线采样轨迹，无需实时环境交互，无缝对接现有数据湖。
• 训练侧：作为 SFT 的加权变体，直接使用已有 SFT 框架（如 HuggingFace Trainer）并增加重要性权重，无需 RLHF 复杂基础设施（奖励模型在线打分等）。
• 部署侧：所得模型为标准因果模型，无额外推理成本。

具体落地用例

1. 全球电商平台智能导购：用户浏览、点击、下单等隐式反馈构成多轮互动。DRIFT 利用离线轨迹与购买转化奖励权重，以 SFT 成本训练一个能持续优化推荐话术的模型，相比在线 RL 节省 90% 以上 GPU 时，同时避免离线 SFT 的千篇一律回复，提升跨品类购买转化率。
2. 在线编程教育平台：学员在互动编程“闯关”中提交代码并获反馈。DRIFT 通过历史会话记录与通关评分加权，微调助手模型，使其能根据学员错误历史提供更精准的提示，减少无用重复提示，提升完课率。该方案可直接集成进现有课程平台的 LLM 微调周度迭代流程。

局限

• **参考策略依赖与重要性采样方差**：DRIFT 的理论等价性建立在参考策略与最优策略的支持重合假设上。当参考策略较弱或与目标分布偏离较大时，重要性权重可能会出现极端值，导致估计方差过高，训练不稳定，甚至退化为普通 SFT。论文在 B.1 节也讨论了估计稳定性和样本复杂度，但实际应用中仍需要谨慎选择参考策略和回报塑造。
• **离线数据的覆盖局限性**：DRIFT 完全依赖离线采样，无法像在线 RL 那样主动探索新的交互行为。在需要深度推理、多步规划或广泛外部知识的多轮任务中，参考策略产生的轨迹可能无法覆盖最佳对话路径，限制了模型的上限。论文在 E.3 节的案例研究中也指出，DRIFT 在知识密集型领域存在局限性。
• **超参数设计与回报函数敏感度**：DRIFT 的性能对回报塑造、KL 惩罚系数以及终端步保留策略等设计选择较为敏感。实验部分虽然进行了消融分析，但针对不同任务可能需要大量调参工作，并且设计合理的回报函数本身需要领域知识，这增加了实际部署的复杂度。