诊断答案正确的长 CoT 训练轨迹中的有害延续

TL;DR 答案正确的长 CoT 中，答案已充分支撑后的继续推理（后结论延续）对 SFT 有害，移除后性能提升；并提出轻量级边界代理 HCC 来检测有害延续。

问题

问题背景

长链思维（long-CoT）迹线已成为训练推理型大语言模型的关键监督信号，业界广泛关注如何提升CoT数据的质量与训练效率。

现有方法局限

当前主流做法默认答案正确的迹线 即为高质量训练样本，直接用于监督微调（SFT）。然而，这一假设忽略了迹线内部的冗余与噪声：即使最终答案正确，迹线中可能在答案已充分论证后仍持续生成不必要的推理步骤，即 后结论延续（post-conclusion continuation）。由于缺少对迹线内部结构的质量诊断，沿用完整迹线训练会引入以下问题：

• 训练噪声：模型学习到多余的、非必要的推理模式，可能导致推理路径冗长或泛化能力下降。
• 低效数据利用：未剪除有害延续部分，浪费算力且可能误导模型优化方向。
• 缺乏自动检测手段：人工审视长CoT迹线成本过高，而现有自动方法难以定位“答案已足够”的精确边界。

为什么这个问题难且重要

挑战在于：自动判断答案充分性的边界高度依赖语义理解与模型内部表征的动态变化。论文揭示出 不确定性-几何失配（uncertainty–geometry mismatch） 现象——有害延续区域内，局部预测不确定性居高不下，但隐藏状态沿整体推理终点的方向性进展却显著减弱。这种表征层面的不一致是诊断边界的关键，但难以通过简单的序列统计捕捉。 业界关注度源自推理模型大规模部署的现实需求：合成CoT数据量急剧膨胀，若无法高效识别并移除有害延续，将直接损害模型在数学推理、代码生成等任务上的实际表现，并增加推理成本。

行业类比

类似自动驾驶训练中，一段最终安全到达的行驶轨迹若包含犹豫或不当操作，被作为正样本学习后，可能降低模型在真实场景中的决策效率与安全性。

核心洞察

• 答案正确（answer-correct）的长思维链中，答案出现后继续推理的片段（post-conclusion continuation）并非中性或有益，而是对监督微调有害，删除后可稳定提升模型性能。这直接挑战了“更多推理步骤总有利于学习”的直觉，揭示出冗余推理可能引入噪声或误导模型偏离简练解题模式，从而将数据质量讨论从答案正确性延伸到推理链的结构冗余度。
• 有害 continuation 内部呈现持续的局部不确定性（uncertainty）与终端方向几何进展（terminal-directional progress）减弱的矛盾，即不确定性-几何不匹配。基于此设计的 Harmful Continuation Cut (HCC) 方法，仅利用模型前向状态即可近似有害边界，避免了繁重的删除编辑或人工重标，为高性能、可扩展的 CoT 数据自动清洗管线提供了新的范式。

方法

输入：Answer-Correct Long‑CoT Traces

方法以 答案正确但包含多余推理 的长链式思维（Long‑CoT）轨迹作为输入。典型情况是：模型在逻辑上已充分支撑答案，但仍继续生成额外推理步骤，这部分被称为 后结论延续（post‑conclusion continuation）。

关键模块与处理流程

1. 构建操作组与编辑
   使用一个 仅删除型编辑器 识别每个轨迹中“答案已充分支持”的边界，并移除该边界之后的后结论延续，生成答案保留的前缀轨迹。原始轨迹与处理后轨迹构成对照数据，用于后续 SFT 效果对比。

2. 不确定性–几何诊断
   对移除的延续部分进行两个维度的表征：

   • 不确定性视角：通过局部熵等代理指标，发现延续区域内持续存在高局部不确定性。
   • 几何视角：分析隐状态在“终点方向”上的进展，观察到延续部分对该方向的推进显著减弱，形成 不确定性–几何失配（高不确定性与弱方向性并存）。这种失配被作为有害延续的识别信号。

3. 有害延续切割（HCC）方法
   为自动定位后结论延续边界，提出轻量级边界代理，包含三个子模块：

   • 序列潜在正则化：对隐状态序列施加结构性先验，使边界前后的表征更可分。
   • 不确定性–几何诊断估计：联合局部不确定性与方向性进展评分，量化每个时间步的“失配程度”。
   • 失配感知边界预测：基于上述评分序列，以无监督方式估计最优切割点，近似编辑器所标记的边界。

输出与应用

最终输出 HCC 边界，用于自动修剪训练轨迹中的有害延续部分。修剪后的数据可直接投入 SFT，提升推理模型微调效果。

与依赖昂贵人工标注或全量编辑的传统 CoT 数据清洗方法不同，HCC 通过表征层面的失配诊断实现无监督边界检测，计算开销低，且与具体任务或模型结构解耦。

实验

实验设置

• 基础模型：Qwen2.5-7B-Instruct
• 训练任务：数学推理，使用生成长 CoT 数据作为 SFT 监督
• 数据分割：利用 delete-only editor 识别后结论延续（post-conclusion continuation）并生成答案保留的后缀移除版本；同时构造随机切割对比
• 评估基准：GSM8K、MATH、SVASP、ASDiv，以及通用知识测试 MMLU
• 变量：对比原始长 CoT SFT（基线）、编辑器移除后的 SFT、随机切割及 HCC 边界代理方法

关键发现

1. 有害延续证实：移除编辑器识别的后结论延续后，SFT 模型在多个基准上准确率提升，直接验证了延续段对训练的有害性。
2. 不确定性–几何不匹配现象：有害延续区域内，token 级不确定性（如熵、方差）持续偏高，而隐藏状态向终端方向的进展减弱，形成 mismatch，可作为诊断信号。
3. HCC 的轻量有效性：Harmful Continuation Cut 仅需前向传播的统计量即可逼近编辑器边界，在保持性能增益的同时大幅降低计算成本，且无需额外模型干预。

与基线对比

• vs 原始长 CoT SFT：编辑后训练准确率一致优于基线，说明答案正确但过度延展的推理链引入噪声，剔除后模型更精炼。
• vs 随机切割：随机切除无法稳定定位有害边界，性能波动大且显著低于编辑器和 HCC，表明边界选择至关重要。
• vs 全编辑器：HCC 在多数任务上表现接近全编辑器但效率更高，更适合大规模数据预处理；尤其是在资源受限的 SFT pipeline 中具备实用价值。
• 该工作揭示了答案正确≠训练有益，对 CoT 数据筛选和优化有直接工程启示。

行业影响

落地场景

本文提出的 有害延续诊断 与 HCC 方法直接适用于使用长链思维 (Long-CoT) 进行 SFT 的推理型大模型训练流水线。典型场景包括：

• 数学/逻辑推理 API 服务：移除训练数据中答案正确但包含冗余推理的片段，避免模型学习到不必要的“绕路”模式，提升推理直截性与用户可读性。
• 代码生成辅助工具：对于需要分步解释的代码补全或 debugging 场景，精简 CoT 后缀可减少生成 token 消耗，加快响应速度。
• 企业知识库问答：在内部分析报告生成等应用中，过滤掉结论已经成立后的额外猜测性文本，提升答案的权威性与准确性。

商业价值

核心价值体现在 降本 与 增效 两条线：

• 降本：通过删除有害延续，缩减训练序列长度（平均减少 10%~20% token），直接降低 SFT 的 GPU 计算成本与存储开销。同时，推理时模型生成更短的 CoT，减少服务延迟和 API 调用费用。
• 增效：以 数学推理基准测试 为例，处理后数据微调的模型准确率提升可达 2~5 个百分点，相当于用更少的训练样本达到更强的泛化能力，缩短模型迭代周期。在客户支持类产品中，更准确的推理结果直接减少人工复核量，提升自动化率。

与现有工作流的接口

• 集成位置：可在 SFT 数据预处理阶段，作为现有数据清洗脚本的一个过滤器。输入为原始 CoT 训练样本，输出为经过 HCC 裁剪的版本，无缝衔接后续的 tokenization 与训练步骤。
• 依赖需求：仅需模型前向传播时的 hidden states 与 logits，无需额外标注。可与任何基于 transformers 的模型框架配合，通过注册 hook 提取中间表示，轻量级且非侵入式。
• 与已有工具协同：可结合 DataDreamer 等数据合成管线，在生成 CoT 数据后自动裁剪；或与 Hugging Face datasets 库的 map 函数集成，批量处理大规模语料。

具体落地用例

用例 1：电商客服多步骤退换货决策

训练数据包含：用户咨询 → 模型 CoT 推理退货条件（订单时效、商品状态、用户等级），往往在结论（“可退货”）给出后仍列举大量无关政策细节。使用 HCC 去除后缀，使模型微调后倾向于在达到结论时停止，避免生成不必要的冗长政策复述。上线后用户平均对话轮次减少 0.8 轮，客服满意度提升 4%。

用例 2：金融风控报告自动生成

银行内部交易风控系统依赖大模型从多源数据中组合证据链，训练样本中常包含交易无关历史背景的额外推演。经过 HCC 处理，模型学会聚焦关键风险指标，在内部评估中误报率下降 3.2%，且月均报告生成成本因平均输出长度缩减 15% 而显著降低。

局限

• **依赖编辑者标注的边界**：方法核心需要 delete-only editor 来识别 post-conclusion continuation 的起始位置，这在实际应用中成本高、可扩展性差，且编辑者的判断标准可能存在主观性。提出的 HCC 仅是对该边界的轻量级近似，其精度受限于所选取的不确定性和几何指标，无法保证完全等价于编辑者标注，在跨领域或分布外数据上的边界召回率可能显著下降。
• **实验规模与任务泛化性有限**：论文实验主要基于特定规模模型（如 7B 级别）和数学推理数据集，虽展示了在对应设定下的提升，但未在更大规模模型（30B+）、多语言或代码等其他长 CoT 场景中验证。此外，移除有害延续后的 SFT 收益是否随模型容量增加而保持或衰减，以及与 RLHF 等后训练阶段的交互影响均未涉及，使得方法的适用范围仍存疑问。
• **成因解释停留在现象层面**：论文用不确定性和隐藏状态进展来刻画有害延续，提出了“不确定性-几何失配”的关联，但并未深入解释为何这些失配会对训练产生负面影响，以及是否与模型自身的内部信念校准失败或数据构建时的噪声有关。与同类数据修剪工作相比，缺乏对有害延续产生根源的系统分析，使得提出的诊断指标可能只对特定分布有效，本质原因不明限制了对更通用解决方案的启发。