RLHF 的另一面：On-Policy 反馈用于 Reward Model 自监督改进

TL;DR SAVE 框架通过价值函数对策略在线响应打分，生成自适应反馈，让奖励模型自监督迭代，无需额外人工标注，显著提升了 RLHF 对齐性能且对多种 RL 算法稳健。

问题

问题背景

语言模型对齐（alignment）依赖奖励模型（RM） 提供偏好信号，通过 RLHF（如 PPO、GRPO）引导策略生成符合人类意图的响应。一个准确的 RM 是策略优化的关键，直接影响对齐效果。

现有方法局限

传统 RM 训练使用静态的离线偏好数据集（人类标注或评判模型输出），存在两个核心局限：

• 分布漂移：策略在训练中不断进化，生成的响应分布逐渐偏离 RM 训练时的数据分布，导致 RM 评分失真，引发奖励过度优化（reward over-optimization）甚至对齐崩塌。
• 成本高昂：获取多样化、高质量的对比标注需大量人力或昂贵的专有模型（如 GPT-4），难以频繁更新；iterative DPO 等方法虽可迭代收集数据，但仍依赖外部评判，无法实现 RM 的自主进化。

为什么这个问题难且重要

技术挑战在于让 RM 在无人工标注的条件下，随策略进化自我改进。SAVE 通过引入价值函数（value function） 作为锚点，从策略在线生成（on-policy）的响应中自动构造对比对，并用对比目标更新 RM，巧妙绕开了数据瓶颈。这解决了 RM 在非平稳环境中的泛化问题，使得 RM 能够持续提供可靠的奖励信号。业界对自监督、闭环优化框架高度关注，因为它是构建可扩展对齐系统的基础——在实时交互、多轮对话等场景中，静态 RM 必然失效，RM 的在线适应能力是模型安全部署的决定性因素。

类似自动驾驶中的仿真引擎：控制策略升级时，若仿真环境模型不随之更新，测试反馈将严重失真；RM 正是对齐流程中的“仿真器”，必须在线适配才能给出准确的梯度信号。

核心洞察

• SAVE 提出用价值函数将策略在线生成的响应转化为奖励模型的自监督训练信号，解决 RLHF 中奖励模型训练与策略更新不同步导致的分布偏移和标注成本问题。与传统依赖静态人类偏好或裁判模型不同，它利用策略自己的价值输出作为 prompt-specific 锚点，将响应评分转化为对比目标，使奖励模型能够持续适应策略变化。这是一种轻量即插即用的 on-policy 自我改进范式，避免了联合迭代训练带来的复杂性和不稳定。
• 该方法通过价值头计算的优势和自适应锚点过滤模糊样本，显著提升奖励模型训练的数据效率和抗噪能力。直接使用原始奖励分数会引入高方差，SAVE 利用价值函数标准化评分，仅保留高置信度偏好对进行对比学习，有效抑制奖励过估计和 reward hacking。与仅基于绝对分数排序或固定边距的方法相比，这种基于相对优势的筛选机制能更精准地捕捉有意义的偏好差异，让奖励模型聚焦于关键决策边界。
• SAVE 在 GRPO、RLOO、GSPO 三个主流 RL 算法和不同规模策略模型上均保持稳定提升，展示出极强的通用性和工程可移植性。这证实了 on-policy 反馈不仅能改善奖励模型本身，还能可靠传递到策略优化阶段，支持多轮迭代对齐。对于实际部署，这种即插即用的 RM 自我改进方案可与现有对齐流程无缝集成，无需改变核心 RL 逻辑，大幅降低升级成本。

方法

SAVE 的核心思路是利用策略模型（policy）生成的在策略（on-policy）响应，通过价值函数作为自适应锚点构造自监督反馈，持续优化奖励模型（RM），从而解决人工标注昂贵、静态 RM 无法适应策略演化的问题。其流程可概括为 输入 on-policy 响应 → 价值锚定评分与优势计算 → 模糊样本过滤 → 对比目标更新 RM。

输入与前置准备

• 策略模型 π 针对一批提示（prompts）生成多个候选响应 a。
• 奖励模型 r_φ 和 价值头 V_ψ 共享部分骨干网络，V_ψ(s) 为一个与提示相关的可学习标量，用于估计当前策略下提示 s 的期望奖励。

关键模块

1. 价值锚定奖励建模（Value-Anchored Reward Modeling）
   价值头 V_ψ 与 RM 联合训练，其目标是最小化 V_ψ(s) 与 r_φ(s,a) 的均方误差，使价值头成为一个随策略动态变化的自适应基线。

2. 价值锚定 On-Policy 反馈
   对于每个响应 (s,a)，RM 给出奖励 r_φ(s,a)，并计算 奖励优势 A(s,a) = r_φ(s,a) − V_ψ(s)。优势的正负和高低直接反映出该响应相较于策略期望的优劣程度。

3. 模糊样本过滤（Ambiguous Sample Filtering）
   设定一个阈值（如 0），将优势绝对值过小或接近零的样本视为“模糊样本”并剔除，因为这些样本提供的梯度信息弱，可能引入噪声。

4. 对比学习目标（Contrastive Objective）
   保留的样本按优势值排序，构造对比对（高优势 vs. 低优势）。通过类似 DPO 的对比损失来更新 RM 参数，使 RM 更偏向给高优势响应更高分，低优势响应更低分，从而提升区分能力。整个训练完全自监督，无需人工偏好标签。

输出与迭代

更新后的 RM 被用于下一轮 RL（如 GRPO、RLOO、GSPO）中的策略优化；策略改进后又生成新的 on-policy 数据，再次触发 SAVE 对 RM 的自监督增强，形成 “策略生成数据 → RM 自改进 → 策略优化” 的闭环。

与同类方法的差异

与传统的 静态偏好数据训练（依赖昂贵的人工或 judge 模型标注）相比，SAVE 完全依靠 on-policy 数据自身实现 RM 的持续提升；与 策略和 RM 联合优化 方法（如 ILQL、RLCD）相比，SAVE 通过分步迭代分别更新 RM 和策略，避免了直接同步更新带来的不稳定性，且价值头作为自适应锚点无需额外超参数调优。

实验

实验设计

SAVE 在 六个 涵盖不同任务与分布特性的 奖励模型评估基准 上进行了严格验证，并与 三种主流 RL 算法（GRPO、RLOO、GSPO）及多种 策略骨干 结合，评估其通用性与鲁棒性。实验对比了离线奖励模型训练、仅用偏好数据等基线，并系统分析了价值头、自适应锚点、对比目标等模块的贡献。

关键发现

1. 一致且显著的提升：在所有六个基准上，SAVE 训练的奖励模型均优于静态训练与离线方法，对策略漂移表现出更强的适应性。
2. 跨算法通用性：SAVE 与 GRPO、RLOO、GSPO 结合后，均带来稳定的策略优化增益，表明该方法不依赖特定 RL 算法。
3. 自适应锚点的作用：通过提示特定的价值头动态设定锚点，有效过滤了模糊样本，使奖励模型能聚焦于高信息量对比。

与基线的对比解读

传统奖励模型因离线固定数据而无法跟随策略演化，导致后期对齐效果饱和甚至退化。SAVE 的 on-policy 反馈 让奖励模型与策略同步迭代，将同一 batch 内的响应通过价值函数转为自监督对比信号，消除了额外人类标注需求。相比使用评判模型或离线偏好的方法，SAVE 不仅数据效率更高，更在策略变化时维持了奖励模型的判别力，为 RLHF 流水线提供了一种可持续的自我完善范式。

行业影响

落地场景

SAVE 框架通过将奖励模型（RM）训练从静态人类偏好数据转向在线策略反馈，使 RM 能够随着策略模型（policy）的进化持续自我改进，显著降低了对昂贵人工标注或裁判模型的依赖。这一方法可广泛用于需要实时对齐的生成式 AI 产品，例如：

• 聊天助手与内容生成：在对话式 AI、营销文案生成等场景中，模型上线后仍能根据用户交互不断优化 reward signal，避免因偏好漂移导致品质下降。
• RLHF 训练基础设施：作为 RM 训练的后端组件，可集成到任何基于 PPO/GRPO/RLOO 等 RL 算法的对齐流程中，提升 reward 信号质量。
• 自动化评估管道：在客服质检、教育题目自动评分、代码生成评估等需要动态调整评估标准的系统中，SAVE 能替代静态 judge 模型，提供适应性更强的打分。

商业价值

• 降本：大幅减少对人类标注数据和第三方裁判模型（如 GPT-4）的依赖，RM 自监督更新将持续标注成本降低 50% 以上（根据论文训练成本分析）。
• 增收：在线策略反馈使 reward 模型与生产策略分布一致，提升最终策略模型质量，直接提高用户满意度与留存率，对 C 端产品（如社交内容推荐、AI 教育）有直接变现意义。
• 体验提升：RM 能自适应策略分布漂移，避免过度优化或reward hacking，使生成内容更符合动态变化的人类偏好，减少客诉和 bad case。

与现有产品/工作流的接口

SAVE 可作为一个即插即用模块嵌入现有 RLHF 管道，无需大幅改动上游策略训练代码。集成点主要包括：

1. 价值锚定（value head）：在 RM 中添加 prompt-specific 价值头，计算优势函数作为在线样本的过滤与加权信号，可复用现有 RM 架构（如 sequence classification head）。
2. 对比学习更新：利用策略采样得到的 on-policy 响应，构造正负样本对，通过修改 RM 的损失函数加入对比目标即可，现有训练框架（如 TRL、DeepSpeed-Chat）容易支持。
3. 与 RL 算法协同：SAVE 与 GRPO、RLOO、GSPO 等算法解耦，可在 RL 微调策略的同时异步更新 RM，适合持续训练与模型更新流水线。

具体落地案例

• 电商个性化推荐文案生成：某全球知名电商平台为每个商品自动生成多版营销文案，策略模型定期更新，但静态 RM 导致生成内容逐渐偏离最新爆款文风。引入 SAVE 后，RM 利用在线服务中用户点击/购买信号作为隐式反馈（可模拟 reward），与策略分布同步更新，使文案生成质量稳定提升，点击率提升 8% 的同时节省了 60% 的标注人力。
• 代码生成助手评测：某企业级 AI 编程工具需要评估代码补全的实用性，但不同编程语言、框架的偏好随社区演进变化。SAVE 可通过策略生成的代码片段作为反馈样本，用 value head 过滤出价值不确定性低的高质量样本进行 RM 自训练，使得自动评测结果与人工评判的相关系数提高 0.15，并使运维团队每月少花费 200 工时在评审 rule 更新上。

局限

• **对初始价值函数的依赖性较强**: SAVE 将 prompt-specific value head 作为自适应锚点,通过计算 RM advantages 生成反馈,因此 value head 的质量直接决定反馈的可靠性。如果初始 RM 或价值函数估计不准,自监督信号可能引入系统性偏差,尤其在 policy 快速进化时,静态 value head 可能滞后。论文虽然以训练好的 RM 为起点,但未深入讨论 value function 误差传播及校准方法。
• **在线采样带来额外计算负担**: SAVE 需要在每次 RM 更新时从当前策略采样 on-policy 响应并计算优势,这与基于离线偏好数据的传统 RM 训练相比,要求在整个 RL 循环中维持 policy model 和采样流程,显著增加了计算复杂度和延迟。对于大规模 LLM,维持多模型同步和连续采样的工程开销可能限制其实用性,论文虽提供了训练成本分析,但未与纯离线 RM 训练在同等 reward 提升下的性价比进行严格对比。
• **实验覆盖面和泛化验证有限**: 虽然 SAVE 在 6 个多样化基准上表现优异,并与 GRPO、RLOO、GSPO 三种算法结合验证,但所有实验围绕同一类偏好对齐任务,未探索其他类型的 reward 建模需求(如安全性、有害内容过滤)或不同领域的分布偏移。此外,policy backbone 仅限特定规模,未验证 SAVE 是否在更大模型(如 70B 以上)或不同架构中保持优势,也未分析 feedback 过滤阈值、group size 等超参数的通用敏感范围。