信任区域 Q-Adjoint Matching

TL;DR TRQAM 通过自适应信任区域控制路径空间 KL 散度，为预训练 flow 策略提供稳定的离线策略强化学习，解决了 QAM 方法因 critic 误差放大导致的模型崩溃问题。

问题

问题背景

离线强化学习（off-policy RL）正成为利用大规模预训练数据提升决策模型的关键范式。然而，直接在预训练 flow policies 上进行微调时，由于多步采样过程中的误差累积与病态 critic 导致的优化不稳定，模型极易崩溃，严重制约了 off-policy RL 在真实世界任务中的可靠应用。

现有方法局限

• QAM（Q-learning with Adjoint Matching）通过将策略优化重构为无记忆随机最优控制（SOC）问题，用可学习 critic 指导改进，避免了显式的轨迹回溯。
• 但 QAM 继承了一项根本脆弱性：critic-guided improvement 对 critic 误差高度敏感。理论分析表明，当 critic 矩阵条件数不佳时，即使微小的 critic 误差也会在 rollout 中被指数放大（见 Lemma 1：$|\Delta \theta_t| \propto e^{\int \kappa_s ds}$），导致策略参数突变、模型崩溃。
• 固定正则化系数（如固定 $\lambda$）无法适应不同任务所需的约束强度，且传统外部 KL 正则化难以精确控制路径空间（path-space）的偏差，常出现约束力不足或过度限制的现象。

为什么这个问题难且重要

• 技术挑战：off-policy 设置下，路径空间 KL 无法直接获得闭式估计，而自适应控制的难度在于需要在训练过程中动态平衡 信任域大小与 critic 精度，同时避免对二阶信息的高昂计算。
• 业界关注：在工业级行为生成、机器人操作等任务中，预训练 flow policy 已展现出强大的生成能力（如 OGBench 50 项任务），但缺乏稳定、可微调的 off-policy 方法，使得从静态数据集向在线部署的迁移始终存在断裂。稳定的 off-policy RL 是实现“数据驱动策略持续改进”的核心技术。

行业类比

类似自动驾驶中基于离线路测数据微调规划策略——若行为变更不受控（如突然大幅偏离历史安全轨迹），可能引发危险动作；TRQAM 通过自适应投影对偶下降精确约束 path-space KL，就如同给策略更新加装一个自适应安全限位，确保每一步改进都处在可信任范围内。

核心洞察

• 路径空间 KL 散度的闭式控制：TRQAM 将信任域约束直接建立在路径空间（path-space）上，并通过理论推导得到 λ 与 path-space KL 的解析闭式关系。这使算法能精确设置和强制执行与预训练 flow policy 的偏离预算，避免了基于状态或动作空间近似的误差积累。在多步采样与离线数据分布偏移下，这种精确性显著优于 TRPO 等传统信赖域方法的宽松约束，是 flow policy 稳定 fine-tuning 的关键。
• 自适应 λ 优化：TRQAM 将温度参数 λ 重新定义为信任域参数，并通过投影对偶下降动态调整，从而克服了固定 λ 下 critic 误差随采样步数指数放大的问题。该机制使算法能自动适应不同任务与数据质量，无需繁琐的超参数网格搜索，而 QAM 的固定 λ 在相同条件下极易导致策略崩溃。这种从“脆弱固定”到“自适应约束”的转变，为 off-policy RL 在预训练生成式策略上的实用化提供了新思路。

方法

输入与问题设定

TRQAM 面向预训练 flow policy 的离策略微调。输入包括：

• 已有的预训练 flow policy 权重；
• 离线或在线收集的交互数据（状态、动作、奖励）；
• 学好的 critic（Q 函数）作为改进信号。

核心挑战：固定 λ 的脆弱性

在 Q-learning with Adjoint Matching (QAM) 框架中，随机最优控制引入一个固定标量 λ 来平衡探索与利用。但实践中，固定 λ 对离策略学习极度敏感：若 λ 设置偏大，策略会过度远离预训练分布，结合 critic 误差的指数放大效应（论文 Lemma 1），极易导致模型崩溃。

TRQAM 的方法模块

1. 将 λ 重新解释为信任域参数
   TRQAM 理论证明（Theorem 1）：路径空间 KL 散度（预训练策略与当前微调策略在整条轨迹上的偏差）可表示为 λ 的闭式函数。这意味着通过调整 λ 可以直接控制策略偏离幅度。

2. 自适应 λ 优化：投影对偶下降
   方法将信任域约束（KL ≤ 预设预算 δ）作为凸约束，构建拉格朗日对偶问题。在每轮训练中，根据实际 KL 违反情况，用投影梯度步更新 λ：

   • 若当前 KL 超过预算，增大 λ 以收紧策略搜索区域；
   • 若 KL 远小于预算，减小 λ 以允许更激进的改进。
     更新后对 λ 做投影，确保其处于可行域内（非负且满足问题结构约束）。该过程无需手动调节 λ，且对预算 δ 的选取不敏感。

3. 内部 KL 正则化 vs 外部 KL 正则化
   TRQAM 在随机最优控制动态中直接嵌入 KL 约束（内部正则化），而非在损失函数中加一个 KL 惩罚项（外部正则化）。内部方式能精确强制约束，外部方式在离策略下无法保证满足 KL 预算（实验印证：外部 KL 经常严重超出或不足预算，而 TRQAM 紧密贴合预设值）。

输出：稳定微调的 flow policy

在 critic 引导下，通过自适应 λ 维持每次更新后的策略在信任域内，得到既能利用数据提升性能、又不会崩溃的 policy。该过程支持离线 RL 和离线转在线 RL 两种设置。

与同类方法的差异

TRQAM 与 QAM 的根本区别在于用自适应信任域替代固定 λ，且其 KL 控制是解析且内部强制的，而非靠经验加权的惩罚项，这在离策略环境下提供了更可靠的微调稳定性。

实验

实验设计

实验覆盖 OGBench 的 50 个任务，涵盖离线 RL 与离线到在线 RL 两种设定。基线包括 QAM、FQL、CGQL-Linex、DSRL、IFQL 等先验方法。所有方法基于预训练的流策略（flow policy）进行微调，TRQAM 额外引入自适应路径空间 KL 约束。此外在 Robomimic 上进行了稳定性压力测试，验证方法对温度参数的敏感性。

关键发现

• 稳定性大幅提升：TRQAM 通过投影对偶下降（projected dual descent）动态调节信任域参数 λ，将路径空间 KL 散度控制在一个紧致预算内，避免 critic 错误被指数放大（Lemma 1）。
• 性能领先：离线 RL 整体成功率 68%，显著超越最强基线 46%（提升 22 个百分点）；离线到在线 RL 同样保持优势。
• 闭环验证：消融实验表明，内部 KL 正则化（路径空间约束）明显优于外部 KL（逐状态约束），且 TRQAM 能在整个训练过程中精确执行预设的 KL 预算（附录 H.1）。

与基线的对比深度解读

固定 λ 的 QAM 在 critic 病态时极易崩溃，原因是 critic 误差会沿时间步指数累积，导致策略更新脱离预训练分布。TRQAM 将 λ 解释为信任域参数，并推导出路径空间 KL 关于 λ 的闭式表达式（Theorem 1），从而能够精准限制策略与预训练流策略的偏离。相比之下，基于外部 KL 正则化的方法（如 IFQL）仅约束各时间步的局部 KL，无法保证全局轨迹的一致性，在分布偏移较大时仍可能发散。TRQAM 从随机最优控制的角度重新构建了信任域，实现了无模型离线强化学习的稳健微调，为后续工作指明了一条将 SOC 与 KL 预算深度融合的道路。

行业影响

落地场景

TRQAM 为需从离线数据中进行策略改进的工业场景提供了稳定微调方案。在机器人操作（如仓储分拣、精密装配）、自动驾驶（决策规划模型从驾驶日志迭代升级）、推荐与广告系统（基于历史日志更新竞价/排序策略）以及金融交易执行（利用历史订单流优化算法交易）中，普遍存在大量离线数据集，但直接将预训练策略在线微调易导致性能崩溃。TRQAM 通过自适应投影对偶梯度下降精确控制路径空间 KL 散度，使微调后的策略不会偏离预训练策略过远，从而在离线 RL 和离线到在线 RL 中均显著提升成功率（OGBench 任务整体成功率从 46% 提升至 68%）。

商业价值

这项技术主要沿降本与风险控制两条线产生价值：

• 减少试错成本：在物理机器人或高代价在线环境中，避免因策略突变造成的硬件损坏、生产中断或用户体验骤降，TRQAM 将模型崩溃风险降至最低。
• 缩短迭代周期：原有离线 RL 方法常需大量人工经验调整固定温度参数 λ，TRQAM 自动调节 λ，使工程团队可从繁琐调参中释放，加速策略上线。
• 提升系统鲁棒性：在推荐或广告场景，稳定微调可保障线上收入不因策略剧烈波动而下滑，收益波动范围收窄意味着更可预测的业务表现。

与现有产品/工作流的接口

TRQAM 的设计与现有 RL 工具链兼容性高：

• 框架集成：可作为 critic-guided 策略改进的一个即插即用模块，替换现有算法（如 QAM、CGQL 等）中的固定温度机制，直接接入 Stable-Baselines3、RLlib 或自定义训练循环。
• 数据流适配：只需提供预训练流策略和历史交互数据（状态-动作-奖励元组），无需在线样本，即完成离线微调；后续可无缝切换到离线到在线模式，持续利用新数据。
• 超参稳定性：TRQAM 的信任区域预算 ε 只需粗略设定，对多数环境普适，降低了与现有 CI/CD 流程集成的维护开销。

具体落地 Use Case

1. 仓储机器人抓取策略微调：某物流中心已用脚本策略或行为克隆训练了一个流策略来抓取各类包裹，但遇到新品类时成功率下降。使用 TRQAM 从历史操作日志中离线微调，仅需设定合理的 KL 预算（如 ε=2.0），算法即可自动调整 λ，使策略在保持原有安全行为的前提下逐步吸收新物体特征，无需让机器人在真实拣选中反复试错，大幅降低碰撞和货损成本。
2. 在线广告出价策略的离线升级：广告平台拥有大量历史出价、曝光、点击日志，并已通过行为克隆训练了基础出价策略。当广告主侧定价模型或流量分布变化时，需更新策略。TRQAM 利用离线数据微调，确保新策略的出价分布与旧策略不会产生突变，避免线上预算消耗异常，平稳提升转化率。

局限

• - **路径空间 KL 闭式表示假设较强**：TRQAM 的理论核心是将 path-space KL 表示为 trust-region 参数 λ 的闭式函数，这一推导依赖 SOC 框架的 memoryless 离散化与高斯分布共享协方差的假设。当实际环境动力学复杂、非高斯噪声或策略分布偏离假设时，该表示可能引入近似误差，影响预设 KL 预算的精确性。此外，闭式解依赖于学习到的 critic 线性化，若 critic 质量较差，该近似会进一步放大误差。
• - **引入对偶优化增加实现复杂度和计算开销**：与固定 λ 的 QAM 变体相比，TRQAM 需要额外维护对偶变量并执行 projected dual descent，这引入了新的超参数（对偶学习率、投影边界）和训练步骤。在资源和调优敏感的应用场景中，这一额外开销可能降低方法的易用性。论文目前仅在 OGBench 和 Robomimic 上验证，对更大规模 task 的 scalability 仍有待检验。
• - **方法仅适用于预训练 flow policy，且强依赖 critic 预训练质量**：TRQAM 假设已有一个通过行为克隆获得的 flow policy，无法从零开始训练；同时，critic 的预训练效果直接影响 λ 自适应控制的有效性。当离线数据集质量较差或 critic 出现系统性偏差时，信任域机制可能因错误估计 KL 梯度而失效，导致探索不足或性能下降。与诸如 IQL 等不依赖双重优化的方法相比，这一依赖链更为脆弱。