北航、北大和美团联合提出策略提升强化学习 PIRL 及算法 PIPO
通过引入跨迭代策略提升验证，PIRL/PIPO 弥补了 RL 后训练的开环缺陷，显著提升多种基础算法的下游性能。
传统强化学习后训练只关注当前批次学习，缺少对更新效果的回溯验证。北航、北大、美团提出 PIRL，将跨迭代策略提升本身作为优化目标，并推出即插即用的 PIPO 框架，能在 PPO、GRPO 等算法外层加入“回头验证”机制，提升数学推理、代码等任务表现。
正文摘录
来自北航、北大、美团的研究团队提出了 Policy Improvement Reinforcement Learning （PIRL，策略提升强化学习），以及对应的落地算法 PIPO 。这项工作关注的是大模型 RL 后训练中一个非常基础、但长期被默认跳过的问题： 一次更新在当前数据上看起来优化了学习信号，是否就真的说明模型策略变强了？ 过去很多 RL 后训练方法主要回答的是： 当前这批轨迹该怎么学？ PIRL/PIPO 进一步追问的是： 这一步学完之后，模型真的进步了吗？如果进步了，能否进一步巩固这一方向？如果没有进步，甚至带来了负面影响，能否及时削弱或校正这次更新？  - 论文标题：Policy Improvement Reinforcement Learning - 论文：https://arxiv.org/abs/2604.00860 - 代码：https://github.com/JacckMa/pipoverl 主要贡献 - 提出 PIRL 这一新的强化学习后训练视角。它不只看当前批次里的奖励、优势估计或教师信号，而是把跨迭代的策略提升本身作为优化目标。 - 提出 PIPO 这一即插即用的闭环优化框架。PIPO 可以直接接入几乎现有所有的 RL 后训练算法，如 PPO、GRPO、DAPO 和自蒸馏等方法。