答案存在驱动 RAG 重写收益

TL;DR RAG 改写器的性能增益主要源于答案字符串出现在改写上下文中，而非真正的证据组织。通过受控干预实验，移除答案导致 F1 骤降 28-64 点，而注入答案可提升 F1，揭示现有增益评估存在严重虚假性。

问题

问题背景

检索增强生成（RAG）问答流水线常将检索到的文档片段经大型语言模型重写器（rewriter）处理后，馈入轻量阅读器。这一范式在多跳基准（如 HotpotQA、2WikiMultihopQA）上带来高达数十个点的 F1 提升，业界普遍将其归因于重写器改善了证据质量，但增益来源的因果机制一直未经严格审计。

现有方法局限

现有评估依赖观测性指标（F1 变化、答案包含率），无法区分两种竞争解释：

• 证据策展：重写器消歧、去噪、重组信息，使阅读器更容易推理；
• 答案泄漏：金标准答案字符串直接出现在重写上下文中，阅读器仅需复制即可得分。

传统泄漏探测采用单一 [MASK] 占位符替换答案词，若 F1 大幅下降则认为是泄漏。但本工作揭示，这种哨兵脆弱性严重：更换哨兵 token 时，先前报告的「非泄漏残差」可反转为 -3.33 至 -7.81 F1，且多数不能通过等价性检验。因此，单哨兵设计掩盖了答案泄漏的真实程度，使得重写器增益容易被高估。

为什么该问题既难又重要

实施因果干预需精确控制文本修改（如删除答案片段、注入等长答案），同时平衡位置偏差、总长度等混杂变量，对实验设计严谨性要求极高。从工程视角看，若重写器的大部分增益源自简单的答案表面化而非深层证据理解，那么：

• 部署复杂重写器的性价比低下，可能浪费计算资源；
• 在分布外数据或对抗场景中，阅读器因未学到真正推理而性能崩塌。

业界急需标准化的干预审计工具，以量化增益构成，指导重写器压缩与管线优化决策，避免「舍本逐末」的研发投入。

行业类比

如同推荐系统中，某些强特征实为标签的直接泄漏（如用户点击历史中的物品 ID 直接与目标物品关联），需通过反事实审计剥离代理信号，才能准确评估特征工程对真实兴趣建模的贡献。

核心洞察

• 答案字符串的出现是RAG重写增益的主要因果驱动。此前普遍将性能提升归因于“证据质量改善”，而这项工作通过受控干预（删除答案、注入答案、长度匹配安慰剂）直接证明了：即使重写后的上下文质量不变，只要gold answer字符串出现，阅读器的F1就会大幅提升；一旦移除答案，F1下降幅度远超过安慰剂对照。这意味着重写器的真正作用可能是在上下文中暴露答案字符串，而非精细的文本提炼，这对RAG系统设计中“重写器是否必要”以及“如何评估重写器”提出了新的思考框架。
• 常用的单[MASK]探针在泄露检测中存在严重的哨兵脆弱性。作者在2Wiki多跳数据集上复现了传统的[MASK]探针，发现它报告了+4.12 F1的“非泄露残差”，但改用四种替代哨兵后该残差反转为-3.33至-7.81 F1，且四种替代中有三种未能通过等价性检验。这表明基于单一哨兵的泄露评估结论并不可靠，可能将答案泄露误判为模型泛化能力。这一发现对于所有依赖掩码探针评估重写器或阅读器泄露的研究都具有警示意义，提示我们需要使用哨兵面板进行检验，否则可能高估系统的真正推理能力。

方法

本文方法以 因果干预审计 和 哨兵脆弱性审计 为核心，系统检验重写增益是否由 金标准答案（gold answer）在上下文中的物理出现 驱动。

输入为 检索增强问答（RAG）流水线 的标准组件：多跳检索后的段落，经 LLM 重写器（rewriter） 编译生成更紧凑的上下文，再送入较小的 阅读器（reader） 抽取答案。作者不修改流水线本身，而是对编译输出进行事后受控编辑。

因果干预审计

1. 编辑类型：对每个重写后的上下文，执行四种编辑之一：
   • 移除金答案片段（gold answer span removal）
   • 替换为长度匹配的随机非答案片段（placebo）
   • 在缺失金答案的重写中注入该片段，位置固定为前缀或中点句子边界
2. 分层与识别：按答案是否出现在编译输出中（answer-in-compile strata）分层，采用 配对设计，在同一问题上比较编辑前后的阅读器输出，以排除混淆。
3. 运行规模：覆盖 12 种配置组合——3 类阅读器（Qwen2.5-7B、Qwen3.5-35B、GLM-4.7）、2 个数据集（HotpotQA、2WikiMultihopQA）及 3 种编译器排列（MA-only、MB-only、MA+verify），确保结论鲁棒。

哨兵脆弱性审计

现有工作常用单个 [MASK] 哨兵 探测答案泄漏，但作者发现该方法对哨兵选择高度敏感。为此设计了 五哨兵面板，包括传统 [MASK] 与四种替代哨兵，在 2WikiMultihopQA 上测量释放残差（non-leakage residual），发现传统探针会虚假报告 +4.12 F1 的残差，而其他哨兵则为 -3.33 至 -7.81 F1，且等效检验通过率仅 1/4，证实了主流测漏方式的统计脆弱性。

输出为 F1 变化量（Δ）：在含答案的分层中，移除金答案比 placebo 多降 28～64 点 F1；注入金答案可使原本不含答案的上下文提升 0.7～9.7 点 F1（10/12 组合有效）。哨兵审计则输出残差方向翻转及等效检验结果。

与同类工作差异：既往归因重写提升为“证据质量优化”，本研究首次通过对照干预确立 答案表面化（answer surfacing）的强因果效应，并揭示流行测漏手段的哨兵脆弱性，为 RAG 增益可解释性提供了新的审计基准。

实验

实验设计

通过受控干预审计，对 RAG 重写输出实施四种编辑操作：移除 gold span、长度匹配非答案替换（安慰剂）、在缺失 gold 的重写中前缀注入、句中注入。实验覆盖 12 个 (cell, baseline) 组合，涉及三个 reader 家族（Qwen2.5-7B, Qwen3.5-35B, GLM-4.7）、两个多跳数据集（HotpotQA, 2WikiMultihopQA）和三种编译模式（MA-only, MB-only, MA+verify）。同时进行 sentinel 脆弱性审计，对比 conventional [MASK] 与四种替代 sentinel 下的 F1 残余变化。

关键发现

• Gold 出现主导增益：移除正确答案片段导致 reader F1 下降 28~64 点，远超长度匹配安慰剂，证实答案字符串可见性是驱动 RAG 重写增益的主要因果因素，而非上下文整理质量。
• 注入增益显著但不及移除损失：在原本无 gold 的重写中注入正确答案片段，可使 F1 提升 +0.7 ~ +9.7 点，12 组合中 10 个显著为正，但提升幅度远小于移除损失，暗示读者对答案出现高度敏感，移除影响更大。
• Sentinel 探测结果脆弱：传统的 single [MASK] 探测在 2Wiki 上报告了 +4.12 F1 的“非泄漏残余”，但改用四种替代 sentinel 后，该残余翻转为 -3.33 ~ -7.81 F1，且等效性检验仅通过 1/4，表明常用探测方法不可靠。

深度解读

以往观点将 RAG 重写增益 归因于 证据质量提升（消除噪声、融合多源信息），而本工作通过因果干预揭示，增益很大程度上来源于 答案字符串在上下文中的直接暴露。这挑战了重写器“整理文本即提升理解”的假设，指出读者可能利用表面线索而非深层推理。对实际工程的启示：

1. 若增益主要来自泄漏，则 轻量级答案注入即可提升小读者性能，但可能导致部署中真实泛化能力不足。
2. 评估 RAG 重写器 时，需要控制 答案出现频率 作为混杂因子，否则可能高估重写质量。
3. Sentinel 脆弱性 警示，常用的 [MASK] 探测可能系统性地误判信息泄漏程度，应设计更健壮的审计框架，如多 sentinel 面板。

行业影响

落地场景

论文结论直接冲击 RAG（检索增强生成）QA 系统 的设计与评估范式。任何依赖“检索 → 重写 → 阅读”流水线的产品均可受益：

• 智能客服 / 知识库问答：重写阶段若无意中透露答案字符串，会虚高测试 F1，但实际用户 query 无法提供该泄露，导致线上效果下跌。审计干预可区分真实增强与答案泄露。
• 医疗 / 法律 / 金融合规问答：高可靠性场景需严格防止因答案显露造成的伪相关性，干预审计可作为安全上线前的泄露检测关卡。
• 多跳推理 QA：重写器本意是融合多源证据，但效果可能仅来自答案片段拼接。移除答案的对照实验可量化重写的真正增量。

商业价值

• 降本：如果增益主要来自答案存在，则可简化甚至省略复杂重写模块，改用轻量答案定位策略，减少 LLM 调用成本。
• 提效与可靠性：通过哨兵审计发现单一 [MASK] 探针脆弱，可避免因评估方法缺陷高估模型能力，防止上线后性能回撤。
• 体验提升：真实场景下可主动将高置信度答案片段前置写入上下文（类似 prefix injection），用可控方式提升阅读器准确率，同时监控过拟合风险。

与现有产品 / 工作流接口

干预审计方法易于集成进现有 RAG Stack（如 LangChain、LlamaIndex 或自建流水线）：

1. 在 rewriter → reader 环节插入答案存在检测器（字符串匹配或语义判断），自动分层样本。
2. 利用论文开源的 intervention runner 和 sentinel panel，在模型迭代或重写逻辑变更时自动化回归测试，杜绝性能幻觉。
3. 生产环境中可增加动态注入控制：根据 query 可信度，选择是否在重写结果前缀显式加入候选答案，以平衡准确率与鲁棒性。

具体用例：

• 电商商品问答：用户提问“这款手机电池耐用吗？”，检索回的评论中若重写后直接包含“电池很耐用”原句，阅读器 F1 虚高。审计可发现泄露，促使重写策略转向归纳而非复制。
• 金融研报助手：查询“Q3 营收增速”，重写器可能从多份 PDF 提取后暴露“营收同比增长 12%”完整短语。在合规审计中，需证明系统并非靠复制文本片段作弊，干预实验提供量化的净贡献证据。

局限

• 1. **干预编辑可能引入混淆噪声**：通过删除、替换或注入答案片段来操纵重写后上下文，虽然长度匹配的安慰剂对照部分缓解了长度效应，但文本的流畅性和语义连贯性仍可能被破坏。读者性能的变化可能部分源于对人工中断的敏感性，而不完全是答案字符串出现与否的因果效应。这种编辑范式在更复杂的重写类型（如摘要式重写）中的适用性也未验证。
• 2. **实验覆盖度有限**：干预实验仅在三个阅读器家族（Qwen2.5-7B、Qwen3.5-35B、GLM-4.7）、两个多跳数据集（HotpotQA、2WikiMultihopQA）和三种编译器设置下进行。未能涵盖更广泛的重写器架构、更强或更弱的阅读器组合，以及不同粒度的检索增强设置（如不同检索文档数量），限制了结论的泛化范围。
• 3. **审计聚焦于归因，未提供解决方案**：论文明确声明“We do not propose a new rewriter or mitigation”，仅指出传统单[MASK]探针在哨兵变更下脆弱，并给出答案存在性对增益的强驱动证据。这对工程实践的直接指导有限：开发者仍需自行设计防止泄漏的评估协议，或探索真正的证据策划改进。