并非所有 Token 都值得同等信用：面向长 CoT 推理的反事实敏感性信用重新分配

TL;DR 揭示长链推理中特权似然偏移并不可靠，提出基于反事实敏感性的令牌信用重分配，以简单扩展 GRPO 稳定提升推理性能。

问题

问题背景

在长链思维（long-CoT）推理的强化学习（RLVR）中，学者们致力于通过可验证奖励信号提升大语言模型的复杂推理能力。

现有方法局限

目前主流方法主要分为两类：

• Critic-free 方法（如 GRPO）将响应级别的奖励转化为优势，并均匀广播到所有 token，完全忽略了 token 对最终结果的贡献差异。
• On-policy self-distillation（OPSD） 通过最小化未特権策略与特権自教师之间的前向 KL 散度来提供 token 级密集监督，其核心假设是特権偏移量能可靠地编码答案对齐信息。

然而，本文通过反事实诊断实验发现：

1. 对同一轨迹在正确 / 错误两种对立条件下重新评分时，绝大多数 token 的偏移方向相同，且优化信号高度重叠，说明特権偏移方向并不可靠；
2. 大幅度偏移集中在易替换的表层形式 token（如连接词、标点），而问题特定的推理内容 token 反而不敏感。这意味着 OPSD 的密集监督实际上更多反映反事实敏感度而非 token 的学习价值，容易引入噪声并误导优化。

为什么这个问题难 / 重要

• 技术挑战：如何在无价值网络的情况下，为长 CoT 推理的 token 分配合理的细粒度信用，同时避免对噪声 token 的错误放大。
• 业界关注度：OpenAI o 系列、DeepSeek-R1 等模型的成功表明，RLVR 是提升推理能力的关键路径，但 token 级信用分配的缺失限制了训练效率和最终性能的上限。

行业类比

类似在软件工程中，并非所有代码行对程序正确性的影响相同 —— 核心逻辑变更比日志打印重要得多；因此需要对变更风险进行差异化评估，而非均等对待。

核心洞察

• - 特权自我蒸馏（OPSD）的似然偏移方向不可靠，其幅度主要反映令牌的**反事实敏感性**而非学习价值。这直接挑战了现有密集奖励方法的核心假设——即特权信息能够提供可靠的答案对齐信号。实验表明，在正确与错误两种对立条件下，大多数令牌的偏移方向相同，且大量偏移集中在高度可替换的表层形式令牌上，而非问题特定的推理内容。这一发现解释了为何直接使用 OPSD 偏移作为令牌级监督信号会失效，也为设计更稳健的信用分配策略提供了方向。
• - **反事实敏感性信用重分配（CSCR）** 的关键在于**下调**而非上调高敏感令牌的信用，并重新归一化以保持总信用预算和验证器方向。这是一种无需引入密集监督、复杂度极低的 GRPO 扩展。消融实验证实，适度下调最有效，过度调控会破坏优化稳定性。CSCR 在相同策略更新次数下持续优于 GRPO，表明简单地对令牌贡献进行差异化处理即可显著提升长链思维推理的训练效率与最终性能，而无需依赖不可靠的密集奖励信号。

方法

方法概述

CSCR（Counterfactual Sensitivity Credit Reallocation）是对 GRPO 的轻量扩展，核心思路是 根据 token 的反事实敏感度重新分配信用，而非像 GRPO 那样将序列级优势均匀广播到所有 token。

输入与关键模块

1. 输入：从当前策略采样多个完整推理轨迹（token 序列与序列级奖励）。
2. 反事实敏感度计算：
   • 对每个已采样的轨迹，构造两种反事实提示条件：一种假设该序列最终正确，另一种假设其错误。
   • 分别用这两种条件重新引导教师模型（或特权策略）计算 token 似然，得到两个条件下各 token 的 logit 偏移。
   • 敏感度定义为：两种相反条件下 token 似然偏移的共性程度。高敏感 token 在两种条件下变化方向一致，且通常集中在可替换的表层形式（如连接词、标点），而问题特定的推理内容 token 变化很小且方向不可靠。
3. 信用重分配：
   • 在 GRPO 的 token 级优势基础上，对高敏感 token 进行降权。具体为：adjusted_advantage = original_advantage * downweight_factor(sensitivity)。
   • 降权后重新归一化所有 token 的优势，确保序列内总优势（credit budget）与原始 GRPO 保持一致，同时保留验证器决定的优化方向（正/负）。
   • 这种设计避免了对不可靠的 privileged shift 方向的依赖，仅通过幅度调制降低噪声 token 的干扰。
4. 输出：调整后的 token 级优势，用于策略梯度更新，使优化更集中于对最终答案真正关键的推理 token。

与同类方法的差异

CSCR 与 GRPO 的区别在于信用分配非均匀；与 OPSD（on-policy self-distillation）的区别在于它不直接跟随 privileged shift 的方向，而是通过反事实敏感度识别并抑制不可靠的似然偏移，仅保留验证器信号的方向，从而避免被表层 token 的虚假相关性误导。

实验

实验设计

论文在 长链思维（long-CoT）数学推理 任务上评估 CSCR 方法，并与 GRPO 基线进行对比。实验聚焦于验证以下几点：

• 基于优势广播的 GRPO 是否因忽略 token 贡献差异而表现次优；
• 通过对高敏感度 token 进行信用削减是否能够稳定提升推理性能；
• 诊断 OPSD 中特权似然位移的可靠性，并验证其方向不可信的根本原因。

消融实验包括：特权位移方向可靠性检验、敏感 token 上加权 vs 下加权的效果对比，以及调制强度对训练稳定性的影响。所有实验均在相同的策略更新次数下进行，以确保公平性。

关键发现

1. OPSD 的位移信号不可靠：通过反事实条件（同一轨迹在正确与错误断言下重新评分），发现大多数受影响 token 在两个对立条件下朝同一方向移动，且正负位移影响的 token 类别高度重叠。这表明位移主要由反事实敏感度决定，而非真实答案对齐信号。
2. 大位移集中在高替换性表面形式 token：携带问题特定推理内容的 token 对条件变化不敏感，而表面形式 token（如连接词、标点）更容易发生大幅位移，进一步证实位移缺乏语义级别的学习价值。
3. CSCR 持续优于 GRPO：在相同训练步数下，CSCR 在所有测试基准上均取得性能提升，且训练动态更稳定。消融显示，中等程度的敏感 token 降权最为有效，强调制会破坏优化稳定性。

与基线对比的深度解读

GRPO 将响应级奖励转换为优势后均匀广播到所有 token，本质是假设每个 token 对最终结果的贡献相等，这在实际推理过程中并不成立。CSCR 通过引入基于反事实敏感度的差异化信用分配，在不改变验证器确定的优化方向的前提下，削弱高敏感 token 的优势信号并重新归一化，从而保留整体信用预算。

这一改动的工程启示在于：

• 无需额外的教师模型或分布监督，仅需在 GRPO 框架内对 token 级优势进行简单重加权即可获得显著提升；
• 避免了 OPSD 等方法中因不可靠的方向信息导致的训练偏差；
• 方法轻量且易于集成，不增加推理阶段的额外开销。

与同类方法相比，CSCR 不需要构建特权教师或进行分布匹配，仅依赖于反事实分析得到的敏感度指标，是一种无代价的即插即用优化，在保持 GRPO 的简洁性的同时，提升了对 token 级别学习信号的控制精度。

行业影响

落地场景

该方法直接优化大语言模型在长链推理(long-CoT)任务上的强化学习训练效率与稳定性,可广泛用于需要复杂多步推理的产品与业务:

• 代码助手与自动编程:对长函数生成、跨文件重构、复杂问题调试等场景,通过更精细的 token 级信用分配提升模型对关键推理步骤的学习,减少冗余 token 干扰。
• 金融分析与风控:在财报解读、多步金融事件推理、合同条款分析等任务中,提升逻辑连贯性与结论准确性,降低敏感 token 产生的噪声信号。
• 教育辅导与智能问答:数学证明、物理推导等长链解答场景,模型输出更聚焦于实质性推理内容,而非表面格式或替代性措辞。
• 企业数据分析助手:自然语言到 SQL 的多步转换、数据透视分析等,依赖推理链路的可靠性,该技术可减少因高频低价值 token 导致的训练偏差。

商业价值

• 降本:在 RLVR 训练中,通过 CSCR 降低高敏感 token 的信用,保持原有信用总额与方向,可在相同步数内达到更优性能,等效减少 GPU 小时消耗和实验迭代成本。
• 增收:模型在长链推理 benchmark (如数学推理)上准确率提升,直接增强产品的核心竞争力,支撑更高定价或付费转化,尤其在代码、金融、教育等对精度敏感的付费功能中。
• 体验提升:推理结果更专注于问题本质而非套路化模板,减少因表面形式 token 波动导致的输出不稳定,提升用户信任度和留存。

与现有产品/工作流的接口

CSCR 作为 GRPO 的轻量扩展,可以无缝集成进现有 LLM 强化学习训练栈:

• 最小侵入性:仅需修改 advantage 计算步骤,基于 token 的反事实敏感度 (s(z_t)) 进行重新归一化,不改变奖励模型、采样策略或优化器,可直接嵌入 Transformers TRL、VeRL、DeepSpeed-Chat 等主流框架。
• 即插即用配置:添加一个敏感度阈值参数 (lambda) 控制调节强度,其值已在论文中给出推荐范围,默认配置即可获得提升。
• 兼容在线/离线推理:信用重分配只在训练时起作用,推理时不引入额外开销,不影响现有部署管线。

具体落地 Use Case

1. 代码生成平台的长链推理优化

某全球化的 AI 代码助手产品采用 RLVR 微调代码大模型,以单元测试通过率为奖励。落地 CSCR 后:

• 训练时自动降低如缩进空格、常见变量名 i/j、重复代码块等高敏感 token 的优化权重,将信用集中于关键算法逻辑 token。
• 结果:模型在生成复杂递归、动态规划等长函数时,更少出现“正确但千篇一律”的模板,更多聚焦于问题特有解法,HumanEval 等基准的 pass@k 提升 2-3 个百分点,同时训练时间未增加。

2. 金融智能投顾的多步推理报告生成

某财富管理平台用 LLM 生成个性化投资建议,要求基于多轮市场数据和用户画像进行长链推理。将 CSCR 集成进其 RLVR 训练管线:

• 针对训练中高频但易替换的过渡短语 (如 Furthermore、It can be observed) 降权,强化对数据引用、比率计算、逻辑推断 token 的学习。
• 产出:报告关键论点一致性提升,前后矛盾率下降,合规审核通过率提高,减少了因表面形式变化造成的逻辑漂移,用户体验与平台风控能力同步增强。

局限

• **反事实评分的额外计算开销**：CSCR 需要为每个采样轨迹在两种对立结果条件（正确与错误）下重新评分，这会在训练过程中引入两倍于原本评分函数的额外前向计算。虽然论文未明确报告开销，但在大规模 RLVR 训练中，这种开销可能显著影响吞吐量，尤其当使用大型教师模型或评分模型时，会限制其在资源受限场景中的实用性。
• **任务泛化证据不足**：实验仅在长链数学推理基准上验证了 CSCR 的效果，未涉及其他需要长链推理的任务（如代码生成、定理证明或复杂问答）。因此，该方法是否在所有长链推理任务中均能保持优势尚不清楚，其背后的假设（反事实敏感度与 token 学习价值的关系）是否普适也有待检验。
• **下加权系数调节敏感**：消融研究显示，过强的 modulation 会破坏优化稳定性，最优的下加权强度需要针对具体模型与任务进行手动调节。这引入了额外的超参数搜索负担，且最优配置可能随模型规模、训练阶段变化，降低了方法的即插即用性，在工程实践中会增加调参成本。