Proxy Exploration and Reusable Guidance: 一种基于代理引导更新信号的模块化 LLM 后训练范式

TL;DR 提出 PUST 框架，将 LLM 后训练的探索与对齐解耦，用轻量代理模型生成可复用的相对改进信号，实现低成本、模块化的弱到强策略转移。

问题

LLM 后训练 (post-training) 聚焦于在通用预训练基础上注入领域专有能力，当前主流方法分为两类：奖励优化 (如 PPO / GRPO) 与 分布匹配 (如 DPO / KTO)。但两者均存在严重的架构耦合：

• 现有方法局限：奖励优化要求直接在待优化的策略模型上进行在线采样与奖励评估，探索成本极高且信号与模型绑定；分布匹配虽可离线，但也需从策略模型生成大量样本并计算与目标分布的差异，同样在策略模型上执行资源密集型操作。这种耦合导致三个核心痛点：1) 计算开销巨大，每次后训练都要重跑全量探索；2) 优化信号不可重用，无法缓存为后续迭代或同类任务服务；3) 跨模型迁移困难，从弱模型获取的探索经验难以直接用于强模型，因为绝对分布无法对齐。

• 为什么这个问题难且重要：解耦探索与对齐的难点在于如何从轻量代理中提取“可迁移”的优化方向，而非简单复制策略。本文指出，提取 相对改善信号 (relative improvement signal) 而非绝对分布是关键，但需要设计校准机制防止信号被代理模型的能力偏差污染。业界高度关注此题，因为若能将探索变为异步、可复用的模块，后训练将从一次性重计算转变为低成本、可组合的 信号传递流水线，极大降低大模型迭代门槛。

• 行业类比：如同 CI/CD 中用轻量环境快速测试并提取修复补丁 (patch) 应用到生产系统，PUST 让一个小型代理模型先行试错，产出的“改进方向”可直接指导大模型更新，实现 弱到强 的低成本能力传递。

核心洞察

• 通过轻量代理模型解耦探索与对齐，PUST 将代价高昂的策略探索从主模型转移到小型代理模型上，并仅传递相对改进信号而非完整策略分布。与现有 RLHF/DPO 等强耦合方法相比，这种设计使后训练的计算开销大幅降低，同时允许优化信号异步生成、缓存和复用，为弱到强提升和跨模型迁移提供了原生支持。
• 代理模型产生的更新信号具有高度的可复用性与传递性：一次代理探索获得的相对改进方向，可被应用于多个不同规模或系列的主模型上。这打破了现有方法中每条优化轨迹与单一模型绑定的限制，将后训练从单次在线优化转变为模块化、可复用的流程，显著降低了大规模 LLM 后训练的算力与时间成本，并为增量持续优化提供了灵活的工程框架。

方法

PUST 方法将 LLM 后训练解耦为代理探索、更新信号提取与信号转移三个阶段，实现轻量代理发现有利行为，主模型仅负责分布对齐。

输入与模型角色

• 主模型（Primary Model）：待优化的目标 LLM，训练成本高。
• 代理模型（Proxy Model）：同家族轻量变体（如 0.5B vs. 8B），仅用于高效探索。
• 任务数据与奖励函数：数学/代码等领域的 prompt 和对应的奖励信号（如正确性评分）。

阶段一：代理探索（Proxy Exploration）

代理模型在任务上执行奖励优化（如 PPO 或 REINFORCE），从初始策略 $\pi_\text{proxy}$ 收敛至优化策略 $\pi_\text{proxy}^*$，挖掘高奖励行为。此阶段不触动主模型，成本极低。

阶段二：更新信号提取（Update-Signal Extraction）

在共享 prompt 上，同时采集代理初始状态与优化状态的生成分布，对比得到相对改进方向——即哪些 token 的采样概率应调高或调低，形成更新信号（update signal）。这本质上是策略梯度方向的离散表征，而非完整的策略分布。

阶段三：信号转移（Signal Transfer）

• 锚定校准：为避免信号噪声，利用校准系数 $\lambda$ 对更新信号进行强度调节，平衡探索进度与主模型原始能力，实现弱到强、可调的迁移。
• 目标函数：主模型在标准分布匹配目标（如 KL 散度约束）的基础上，额外加入信号引导项，鼓励主模型输出分布向代理指示的有利方向偏移，但不强制完全模仿代理分布。

输出与复用

主模型经过少量微调后即可继承代理发现的高奖励模式。更新信号可异步缓存与复用，同一信号能迁移至不同规模的主模型，甚至跨模型家族。

与同类方法的差异：传统 RLHF 或分布匹配将探索与对齐绑定在主模型上，导致计算沉重且信号无法复用；PUST 通过轻量代理分离探索，仅传递方向性改进信号，首次实现更新信号的可缓存、可重用与跨模型弱到强迁移。

实验

实验设计概述

实验在 Qwen3 系列模型上进行，覆盖 1.7B、4B、8B 等参数规模，选择数学（MATH、GSM8K）和代码（HumanEval、MBPP）两大领域。核心流程分为三阶段：

1. 代理探索：使用轻量代理模型（如 1.7B）通过在线强化学习（如 PPO）在任务上探索高奖励行为。
2. 更新信号提取：对比代理模型初始状态与优化状态，抽取出相对改进方向信号，而非绝对分布。
3. 信号迁移：通过锚点校准（Anchor-Based Update Calibration）将方向信号注入更强的主模型（如 4B 或 8B），引导其策略对齐。

对比基线包括传统的奖励优化（直接在线 RL 训练主模型）和分布匹配（如 DPO），以及直接微调的代理模型。

关键发现

• 弱到强提升显著：从 1.7B 代理提取的信号能稳定提升 4B 甚至 8B 主模型，在数学与代码任务上均观察到正向迁移，且性能随代理自身优化程度的提升而增强。
• 可复用性与传递性：同一代理的更新信号可异步生成、缓存、跨模型复用，对不同规模的目标模型均有效，极大降低重复探索成本。实验还验证了信号的传递性（A→B 信号可继续增强 B→C 过程）。
• 成本效率：代理探索的计算开销远低于主模型直接在线探索，且信号提取仅需一次前向对比，大幅提升后训练效率。

与基线的深度对比

传统方法将探索与对齐强耦合：在线 RL 需主模型每步生成样本，成本高昂且无法复用；分布匹配方法虽离线但受限于固定偏好数据。PUST 通过解耦实现了 “探索一次、到处复用” 的模块化流程，在性能相当或更优的前提下显著降低计算开销。特别地，对比同规模直接 RL 训练的主模型，使用弱代理信号迁移的主模型在数学推理上准确率逼近，而训练时间减少了约 40%（论文中报告）。这一范式为后训练提供了更大的工程灵活性，允许团队独立迭代代理探索策略或信号迁移算法，加速了领域特化模型的定制周期。

行业影响

落地场景

PUST 框架将 LLM 后训练中的探索与策略对齐解耦，可以落地的场景包括：

• 模型即服务（MaaS）平台：为不同租户提供定制化域适配（如法律文书、医学问答）时，使用轻量代理在租户数据上探索，生成可复用的更新信号，加速主模型迭代。
• 代码助手与智能 IDE：针对新编程语言或内部框架，用小型代理快速试错，将学到的改进方向传递给主力代码模型，避免频繁全量重训。
• 内容审核与安全对齐：代理模型探索高危 reward 空间，提取无害化信号后注入大模型，降低直接探索的安全风险。

商业价值

• 降本：代理模型参数量可比主模型小数十倍，探索阶段的计算成本大幅降低；信号可缓存、复用，避免重复训练的开销。
• 增效：解耦设计允许探索与部署异步进行，支持多团队并行开发各自的代理探索任务，加速模型迭代周期。
• 体验提升：通过弱到强（weak-to-strong）的信号传递，小模型发现的优质行为可稳健地提升大模型表现，在数学推理、代码生成等场景可带来可观的任务精度提升，直接改善终端用户体验。

与现有工作流的接口

• PUST 可作为 RLHF/DPO 流程的上游模块，将代理探索生成的相对改进信号以 logits 或加权 token 偏好形式注入到主模型的对齐阶段，兼容现有分布式训练框架（如 DeepSpeed、Megatron）。
• 信号提取与传输基于奖励差值，可打包为版本化的 “更新信号包” ，通过模型注册中心或内部 Feature Store 分发，供不同主模型复用，形成 模型改进信号市场。
• 与 API 化推理服务（如 vLLM、TGI）集成时，可在离线阶段完成信号计算，在线服务仅加载更新后的模型权重，对推理延迟无影响。

具体落地用例

1. 跨国电商搜索推荐：平台需针对不同地区商品描述语言（英语、西班牙语等）优化 LLM。用 0.5B 代理模型在各语言子集上探索奖励高的回复模式，提取方向性信号传递给 7B 主模型，信号可跨语言复用，显著降低多语言维护成本。
2. 自动驾驶数据挖掘：在自动驾驶场景中，用小型代理探索复杂指令跟随的高 reward 轨迹（如“安全变道”），将对应更新信号迁移到车端部署的大模型，实现驾驶策略的快速迭代，同时避免在原始大模型上直接探索带来的训练不稳定和资源浪费。

局限

• - **跨架构泛化受限**：PUST 要求 proxy 与 primary 模型**共享相同的 tokenizer**，且更新校准依赖两个模型在相同 prompt 下的输出分布可比性（通过 anchor 样本对齐）。当模型架构差异过大（如不同词汇表或模型族）时，相对改进信号可能无法有效传递，限制了该方法在多模态或异构模型间的推广。
• - **实验覆盖面较窄**：当前验证**仅在 Qwen3 系列**（1.7B–8B）的数学和代码任务上进行，未涉及更大规模模型（如 70B+）或其他主流模型族（如 LLaMA、DeepSeek）。代理模型与主模型的能力差距对信号质量的影响边界未充分探索，结论的普适性有待更多跨架构、跨任务实验支撑。
• - **对奖励模型的依赖性**：代理探索的质量高度依赖于所用奖励模型的无偏性。若奖励模型存在系统性偏差，proxy 学习到的高奖励行为可能包含虚假关联，传递后反而损害 primary 的性能。此外，弱 proxy 的探索空间有限，可能无法覆盖强模型的最优策略区域，导致传递的改进信号只是局部次优解。