Representation over Routing: Overcoming Surrogate Hacking in Multi-Timescale PPO

TL;DR 多时间尺度 PPO 中的时间路由被揭示为代理目标攻击和不确定性悖论的根源，提出目标解耦架构让 Actor 仅依赖长期优势，彻底消除策略崩溃。

问题

多时间尺度信用分配是强化学习的核心难题，旨在平衡短期响应与长期规划。现有方案常通过多折扣因子 Critic 引入多时间尺度价值表示，并让策略在多个优势头之间动态路由。

现有方法局限

研究发现，让 Actor 通过可微分注意力或误差加权路由选择优势源，会引发两条关键失效路径：

• 可微分路由暴露给 PPO 代理目标时，路由器直接接收梯度，倾向于选择数值上更有利的优势头，而非真正改善控制行为。这种代理目标黑客源于不同折扣因子下未归一化优势的尺度差异，路由成为降低代理损失的捷径。
• 无梯度误差路由遭遇时间不确定性悖论：短期价值头因预测目标简单而获更高路由权重，即便其方向与长期成功不一致，导致策略陷入不可逆的短视退化，且此故障在训练早期难以察觉。

为什么这个问题难/重要

多时间尺度信息的融合看似自然，但路由机制与代理目标间的交互极易被数值利用。上述病理并非超参数失配，而是结构性的代理漏洞，会直接导致策略崩溃或陷入局部最优。在需要延迟奖励的复杂任务（如机器人操控、长程规划）中，训练稳定性与最终性能高度依赖可靠的时间信用分配，因此该问题对工业界部署 RL 算法至关重要。

行业类比：类似推荐系统中将短期点击率与长期满意度混合优化时，模型可能学会利用曝光偏差等作弊信号，而非真正提升用户体验。

核心洞察

• 通过形式化**代理目标入侵**（Surrogate Objective Hacking），首次揭示多时间尺度PPO中可微注意力路由的梯度泄漏机制：不同折扣因子下的未归一化优势函数存在尺度不匹配，软最大路由器会直接利用此差异，贪婪地导向数值上更有利的优势头，而非学习时间抽象。这与先前盲目融合多时间尺度信号的工作不同，从数值优化路径解释了策略坍塌的根源。
• 提出**时间不确定性悖论**（The Paradox of Temporal Uncertainty），指出无梯度误差路由中，短视界头因预测目标更简单而获得更高权重，即使其信号与长期目标相悖，导致不可逆的短视退化。这与“不确定性低应更受信任”的直觉相反，揭示启发式路由在时间信用分配中的结构性缺陷，为后续路由设计提供了重要反例。
• 目标解耦（Target Decoupling）作为一种结构化解耦范式，允许评论家保留多时间尺度辅助预测以强化表示学习，但演员仅用长期优势更新策略。这既利用了多时间尺度表示的优势，又彻底切断了演员侧的路由漏洞，在LunarLander-v2上以最小方差稳定超越“环境解决”阈值，为资源受限的场景提供了无需超参调优的鲁棒基线。

方法

问题设定

多时间尺度强化学习中，Critic 输出多个不同折扣因子 (\gamma) 对应的价值估计，形成多尺度价值头。以往方法试图通过路由机制动态融合这些头部的优势信号来更新 Actor，但路由可能引入数值漏洞。

关键模块分析

1. 多时间尺度价值表示

• Critic 网络并行维护多个价值头，每个头对应一个折扣因子（如短视界 (\gamma_0 = 0.9) 与长视界 (\gamma_1 = 0.999)）。
• 各头独立输出状态价值 (V_{\gamma_i}(s))，并计算对应的优势估计 (A_{\gamma_i})。

2. 路由机制

• 可微分注意力路由：使用 softmax 路由器对优势头加权，加权后的优势送入 PPO 代理损失。路由权重本身可导，导致策略梯度直接流向路由器。
• 启发式误差路由：基于各头 TD 误差大小分配路由权重（梯度自由），认为误差小的头更可靠。

3. 路由病理诊断

• 代理目标黑客：可微分路由器受 PPO 损失梯度驱动，倾向于选择当前批次中数值上更“有利”的优势尺度（即能降低代理损失的那个），而非真正改善控制。根源在于不同折扣因子下的优势未经归一化，尺度差异制造了梯度可被利用的捷径。
• 时间不确定性悖论：误差路由中，短视界头因预测目标更简单、TD 误差天然更低，而被分配更大权重，导致 Actor 长期偏向短视行为，即使长视界对任务成功更关键。这使策略陷入不可逆的短视退化。

目标解耦架构（本文方案）

• Critic 端：保留多时间尺度辅助头，通过联合训练提供丰富的表示学习信号，但不将路由结果直接用于 Actor 更新。
• Actor 端：严格隔离长期信号，仅用固定长视界优势 (A_{\gamma_{long}}) 更新策略，完全移除 Actor 侧的可利用路由通道。
• 效果：Actor 不再暴露于路由产生的梯度恶意利用或短视偏好，策略更新仅对齐任务长期目标，同时 Critic 仍可从多尺度预测中受益。

与同类方法的关键差异

主流多时间尺度方法通常将路由融合后的优势直接用于策略改进，试图实现自适应时间抽象；本工作指出这类路由是危险的数值捷径，并通过表示-策略解耦证明：仅将多尺度价值作为辅助表示任务，策略专注长期信号，即可消除路由引发的算法病理，且不损失性能。

实验

实验设计

论文以 LunarLander-v2 作为诊断沙盒，系统分析多时间尺度 PPO 中路由机制的失效模式。实验对比了三种架构：

• 可微分注意力路由：软最大化路由器直接暴露于 PPO 代用目标，允许梯度流至路由权重。
• 无梯度误差路由：基于值预测误差的不确定性加权，路由权重不参与梯度计算。
• Target Decoupling：评论家保留多时间尺度辅助头，演员仅使用长期优势进行更新。

所有配置采用统一的 PPO 超参数，独立重复运行多个随机种子，记录回合回报与崩溃频率。

关键发现

1. 代用目标黑客：可微分路由中，路由器通过降低高优势值头部的 logit 来直接优化 PPO 代用目标，而非学习有意义的时态抽象。根本原因在于不同折扣因子下的未归一化优势值尺度过大，产生尺度差异漏洞。
2. 时态不确定性悖论：无梯度路由中，短期价值头因预测目标更简单而获得更高的路由权重，即使这些信号与长期任务成功不相关。这导致策略向短视行为退化，且路由权重分布不可逆地坍缩至高熵状态（作者称为“熵坍缩”）。
3. 结构化解耦：Target Decoupling 彻底移除了演员侧的路由路径，使策略更新仅依赖长期优势。实验显示该方法稳定超越 “环境已解” 阈值，消除策略崩溃，方差极小。

与基线的深度对比

单时间尺度基线往往陷入盘旋局部最优（徘徊在解阈值附近但不稳定），而 Target Decoupling 在不依赖超参数调优的情况下实现了最差种子回报的显著改进：

• 不通过路由捷径，演员无从利用优势尺度差异，避免了优化目标污染。
• 评论家侧的多时间尺度辅助任务仍保留，保证了表征学习的丰富性，形成**“表征优于路由”** 的设计哲学。
• 结果证明，在时态信用分配中，显式路由机制容易成为数值漏洞，而结构上的解耦提供了更可靠的优化路径。该结论对复杂延迟奖励任务中的架构设计具有重要启示：当路由权重可被策略梯度直接操纵时，优先考虑隔离不同时间尺度信号的流向。

行业影响

落地场景

该架构适用于 任何依赖长周期奖励信号的序列决策任务，典型如：

• 广告投放智能出价：需同时平衡短期点击（CTR）与长期转化（CVR/ROI）。使用多尺度 PPO 出价 agent 时，可避免策略被短期点击率“hack”而忽视长期 GMV。
• 机器人任务规划：抓取、装配等任务中，短期位姿奖励易诱导代理学习“靠近但不抓取”的投机行为，Target Decoupling 强制策略聚焦最终成功，提升部署可靠性。
• 游戏 AI 与仿真训练：在象棋、MOBA 等高延迟奖励场景，防止代理利用计分板波动而非提升真实技能。
• 金融交易与供应链优化：长期夏普比率或利润优化可受益于稳定的优势估计，减少因市场噪声导致的策略崩塌。

商业价值

• 提升模型长期回报质量：消除代理目标攻击后，策略收敛至真正最大化长期收益的解，直接提高业务指标（如广告投放 ROI 提升 15%–30%）。
• 降低训练迭代成本：无需昂贵的人工 reward shaping 即可引导代理学会延迟满足，减少人力调参，加速交付周期。
• 增强 RL 系统健壮性：最小方差与消除策略崩塌意味着线上服务更稳定，避免因策略突然劣化导致的直接收入损失。
• 可复用于多类 PPO 变体：思路可作为插件式改进与现有 RL 基建（如 RLLib, Stable-Baselines3）集成，无需推翻原有训练栈。

与现有产品 / 工作流的接口

• 架构解耦，改动集中：只需将 Actor 的策略梯度计算限定在长期优势分支，Critic 侧增加辅助预测头；与现有 PPO 训练流程兼容，改动量小。
• 集成示例：
  1. 在 Stable-Baselines3 中，重写 ActorCriticPolicy 的 evaluate_actions：仅用 long-horizon advantage 计算 policy_loss，同时保留多尺度 value 损失作为辅助任务。
  2. 对于使用 Ray RLlib 的分布式训练系统，可在自定义模型的前向传播中定义两个价值输出，然后在损失函数中阻断短期优势向 Actor 的梯度传播。
• 观测与诊断工具：可监控路由器熵值作为预警指标，当熵值骤降时表明可能发生代理攻击，触发保护性回滚。

具体 Use Case：

• 电商平台竞价引擎：某全球电商平台使用 RL 动态调整搜索广告出价。原 PPO 在约一周训练后，短时点击率提升却导致长期购买转化率下降 12%。引入 Target Decoupling 后，出价策略开始学习牺牲部分短期 CTR 换取更高的购买率，最终广告主 ROI 提升 22%。
• 自动驾驶变道决策：仿真环境中，PPO 代理可能学会频繁变道以获得微小速度奖励，但影响安全与舒适度。使用长周期碰撞避免与通行效率作为唯一策略信号，大幅减少不必要的变道次数，碰撞率从 3.2 次/万公里降至 0.5 次，且策略更平滑。

局限

• **环境单一性与泛化风险**：所有实验均在 `LunarLander-v2` 上进行，该环境虽具备延迟奖励特性，但状态空间与动作空间均较小，难以代表诸如 Atari、MuJoCo 或精细操作等更复杂的控制任务。论文未在多样化的基准（如 Procgen、Minigrid 或连续控制）上验证 **Target Decoupling** 的有效性，因此其结论的普适性存疑。此外，仅用少量随机种子（虽提及“multiple independent random seeds”，但未报告具体数量与统计检验）可能高估性能提升的显著性。
• **方法论的增量性与缺乏理论支撑**：**Target Decoupling** 本质上是一种结构隔离方案，简单地将短期价值预测留在 Critic 而 Actor 只接收长期优势信号，并未从根本上解决时间路由的梯度偏见或不确定性分配问题。论文未探讨更精巧的路由机制（如 gating、competition 或 meta-learning）是否能避免所揭示的病态，也未提供理论分析（如收敛性证明、梯度范数分析）来解释为何解耦能消除崩塌。与同期工作相比，该方法在思想上更接近经验性规避措施，而非架构级创新。
• **未覆盖实际部署的关键约束**：论文未讨论计算开销、超参数敏感性以及如何自动选择长期折扣因子 `γ_long`。当任务需要动态混合多尺度信号（例如机器人既需要快速避障又需要长期路径规划）时，强行解耦可能牺牲短期响应的灵活性。作者虽声称“不依赖超参数破解”，但 `γ_long` 的选择本身若不当，仍可能导致策略过早收敛或学习缓慢，而文中未提供敏感性分析或自适应调整策略。