Amplified Does Not Mean Predictive: Reasoning Behaviors in Thinking Models

TL;DR 推理模型训练放大了自我纠正等表面推理行为，却未放大与正确性最相关的置信校准；本研究用 Behavioral Lift 量化这一“放大-提升差距”，为过程级奖励设计提供依据。

问题

问题背景

推理模型通过长链思维（long CoT）展现出多样化推理行为，但这些行为与答案正确性的关联尚不明确。当前领域关注如何让推理过程不仅“看起来合理”，还能真正提升预测准确性。

现有方法局限

现有训练目标（如过程监督、结果奖励）往往依赖人工定义的“好推理”特征，例如是否出现自我纠正、假设检验等，或者直接优化回答正确率。这些方法存在两个主要局限：

• 缺乏行为级归因：无法量化特定推理行为对正确性的贡献，导致训练信号可能偏向高频出现的表面行为，而非真正有效的认知操作。
• 跨模态不一致：在文本 LLM 与视觉语言模型（VLM）中，相同行为（如“自我纠正”）的表现形式不同，难以统一评估。

为什么这个问题难/重要

技术挑战：需要在大规模推理轨迹上定义并标注细粒度行为，同时控制问题难度、模型规模等混杂因素。论文提出的 Behavioral Lift 指标通过对比行为出现/缺席时的正确率变化，提供了一个可操作的量化框架，但跨 15 个模型、6 个基准、15282 条轨迹的标注成本高昂，且行为定义需要同时适配 LLM 和 VLM。

业界关注度：推理模型的可靠性直接关系到高风险应用（如医疗诊断、代码生成）的部署。如果训练只放大“不确定性承认”等低收益行为，而忽略“置信度校准”等高收益行为，模型可能在自信不足时频繁放弃正确答案，或在错误时过度自信，损害用户信任。

行业类比

这类似于对话系统中过度优化礼貌回复的长度和形式，却未提升回答的事实准确性，造成“看起来专业但不可靠”的体验。

核心洞察

• Amplification-Lift Gap 揭示了推理训练放大的行为（自我修正、假设检验、不确定性承认）与高正确率强相关行为（信心校准、知识对齐、自我意识）之间存在错配。这一发现突破了以往仅用轨迹长度或 CoT 流畅度评价推理质量的局限，直接量化了“表面更像思考”与“真正提升正确率”之间的差距，为优化推理过程提供了新的诊断维度。
• Behavioral Lift 通过比较行为出现与否对正确率的影响，度量每个推理行为的实际贡献，能用于指导 process-level 奖励设计。不同于常见 process reward model 只奖励逐步正确，该指标能定位关键行为：例如信心校准在 LLM 和 VLM 中都是最强正信号，而不确定性承认虽被放大 3-7 倍却弱相关甚至负相关。这提示应显式奖励校准与知识根据，而非仅增加 deliberation 的密度或长度。

方法

输入与数据

基于 15 个模型在 6 个推理基准上的 15,282 条推理轨迹（text-only 与 vision-language）。模型涵盖 thinking models 与非 thinking baselines，覆盖多规模。

关键模块

1. 行为分类法：定义跨 LLM 和 VLM 的 6+ 核心行为，如 self-correction、hypothesis testing、uncertainty acknowledgment、confidence calibration、knowledge alignment、self-awareness。每条轨迹标注行为是否出现。
2. Behavioral Lift 指标：对每个行为 b，计算 lift(b) = P(correct | b present) - P(correct | b absent)，衡量行为出现与否导致的正确率变化。该指标不依赖模型内部机制，只基于标注结果。
3. Amplification 度量：比较 thinking models 与基座模型的行为出现频率比值，量化训练导致的放大倍数。
4. Amplification-Lift Gap 分析：对每个行为，对比其放大排名与 lift 排名，识别“被大幅放大但低 lift”或“高 lift 但未被放大”的行为。

输出与结论

• 大幅放大的行为：self-correction、hypothesis testing、uncertainty acknowledgment，其 lift 较低甚至为负。
• 高 lift 行为：confidence calibration、knowledge alignment、self-awareness，但放大倍率极低（如 confidence calibration 几乎未放大）。
• 训练倾向于放大“看起来更 deliberative”的表面行为，而非真正与正确性相关的行为。

与同类方法的差异：不同于传统 process supervision 或仅按 accuracy 评估推理，Behavioral Lift 直接解耦行为存在性与正确性变化，首次系统量化推理训练中的 Amplification-Lift Gap。

实验

实验设计

在 15 个模型（涵盖纯文本与视觉语言推理）和 6 个基准上，标注 15,282 条推理轨迹，提出 Behavioral Lift 指标，衡量某行为出现与否对正确率的影响差值。对比 thinking models 与基线的行为放大程度。

关键发现

• thinking models 显著放大 self-correction、hypothesis testing、uncertainty acknowledgment 三类行为
• 但最高 lift 行为是 confidence calibration、knowledge alignment、self-awareness
• confidence calibration 在两个模态中均是最强正信号，却几乎没有被放大
• uncertainty acknowledgment 被放大 3-7 倍，但与正确率弱相关或负相关

与基线对比

推理导向训练并未优先放大高 lift 行为，这种 Amplification-Lift Gap 在 SFT 阶段即出现（如 OLMo-3 SFT），且随规模持续。这提示过程级目标应奖励校准和 grounded 推理，而非仅表面形式。

行业影响

落地场景

该工作可直接用于推理模型 的产品化选型与监控。例如企业级智能客服中，模型对关键操作（退款、权限变更）需给出可审计推理链，可用 Behavioral Lift 识别 confidence calibration 等高正确性信号；在视觉内容审核（电商商品图、短视频）中，用 VLM 推理时重点检查知识对齐，降低误判。

商业价值

将 Behavioral Lift 作为过程级奖励或过滤信号，可减少错误答案导致的售后与人工审核成本；对低置信度、不确定性陈述过度的 trace 降权，改善用户信任与 NPS。相比只看最终答案，这类指标直接优化推理可靠性，能提升高价值场景的转化率。

与现有产品/工作流接口

可作为离线评估层 集成到 RLHF/DPO 训练循环，或作为在线推理监控：

• 对每条 trace 计算行为 lift，动态路由到人工复核或更小模型。
• 结合过程奖励模型（PRM）一起使用，在 reward 中加入 calibration/grounding 项。
• 论文公开了数据集与标注 taxonomy，可直接用于微调分类器。

具体 use case：

• 电商客服：用户问“该订单能否退款”，推理模型若缺乏 confidence calibration 且大量 uncertainty acknowledgment，则转人工。
• 企业知识库问答：检测 knowledge alignment 低时提示用户答案可能过时，降低误导。

局限

• **因果性局限**：`Behavioral Lift` 是基于观测数据中行为存在/不存在与正确率的相关性度量，而非干预实验。无法区分行为是导致正确的原因，还是正确解题过程本身的表现。例如 self-correction 高 lift 可能因为模型在正确路径上更频繁修正，而非修正本身带来正确性。需要扰动/干预研究或强化学习实验验证因果关系。
• **标注与模型覆盖**：taxonomy 的人工标注依赖预设行为类别，可能遗漏未定义但重要的推理行为；15,282 条 trace 仅覆盖 15 个模型、6 个 benchmark，且以英文为主。尽管有 `length-controlled` 分析，但行为出现频率与推理长度强相关，长度混杂难以完全消除。视觉-语言推理中图像参考等行为可能受任务特性影响，跨领域泛化需更多样数据。
• **结果指标单一**：论文将“正确性”作为唯一 outcome，未评估行为对模型置信度校准质量、推理完整性或下游任务效用的影响。`confidence calibration` 虽与正确率强相关，但未能直接证明提高该行为可以提升实际部署可靠性。另外模型内部推理（如隐藏 CoT）未暴露的行为无法观测，公开 trace 与内部过程可能不一致。