Same Agent, Different Answers: 检索增强问答中语料库引起的答案漂移的可重复性审计

TL;DR RAG 系统在索引扩展后即使配置不变，答案仍可能漂移；本文提出 Snapshot Compatibility Audit，扣除重复噪声后量化这种准确率盲区的 churn，发现准确率几乎不变时仍有约 10% 语义翻转，提醒发布时必须审计答案兼容性。

问题

问题背景

RAG 系统广泛依赖动态索引，索引扩展或语料更新后，即使锁定模型标识、提示词、检索策略、证据深度等配置，返回答案仍可能发生变化。当前领域正从静态评估转向关注行为兼容性与答案级稳定性。

现有方法局限

传统评估以聚合准确率（如 exact-match）为核心，存在两个技术盲区：

• 准确率盲区：更新后新增的正确与错误答案相互抵消，总体指标几乎不变，掩盖了底层答案的大规模翻转。
• 生成随机性混淆：one-shot 对比无法分离采样噪声与真实更新效应，容易高估索引变化带来的影响。

缺乏系统估计答案级 churn 的方法，更缺少可控重复采样下的审计框架。

为什么这个问题难且重要

难点在于：答案 churn 混合了确定性更新效果与生成器随机差异，必须通过同快照与跨快照的重复采样来分离两者；同时索引扩展改变检索证据分布，但下游生成器不一定对这些变化保持稳定。业界在持续部署动态知识库时，仅看总分不变无法回答“哪些具体 query 的答案静默漂移”，对高风险管理、缓存失效、用户信任都构成现实挑战。

行业类比

类似 CI/CD 中数据库 schema 变更后，API 响应在聚合监控中看似正常，但个别用户结果已悄然改变，回归测试只测总体通过率无法捕获这种局部行为漂移。

核心洞察

• - 语料索引更新引发的答案扰动可以被精确度量，即使聚合准确率几乎不变。论文提出 **accuracy-blind answer churn** 概念，指出在 RAG 系统中，扩展索引后同一模型对同一问题可能给出不同答案，但 exact-match 准确率变化可能被正负抵消。这一角度独特在于：传统评估只看准确率等聚合指标，忽略了答案级别的稳定性，导致发布者误以为系统行为一致。
• - **Snapshot Compatibility Audit** 通过对比同快照重复查询的答案分歧与跨快照答案分歧，分离出语料变化带来的真实扰动。具体做法是：用同一索引快照多次采样得到基线噪声，再从跨快照分歧中减去该噪声，得到超额 churn。相比一次性比较（one-shot comparison），该方法有效排除了生成随机性干扰，避免将普通采样波动误判为语料更新效应。这为动态语料下的 RAG 评估提供了可复用的统计框架。
• - 准确率指标无法揭示系统兼容性退化：实验中 exact-match 准确率仅下降 1.50 个百分点，但归一化精确超额 churn 达 6.44 个百分点，盲评语义超额 churn 达 10.25 个百分点，且 40/400 问题出现重复稳定的语义翻转。这表明即使模型整体效果看似稳定，用户仍会在具体查询上遇到不一致答案。因此，发布检索增强系统时应将 **compatibility audit** 作为 utility 评估之外的独立维度，尤其适用于持续增长的语料索引场景。

方法

输入：固定 QA 问题集与两个索引快照（例如 FineWeb 前缀的 1-shard 与 7-shard）。生成侧配置全部锁定：model identifier、prompt、retrieval policy、evidence depth、rendering、generation controls，仅允许语料变化。

关键模块：Snapshot Compatibility Audit。对同一快照内重复采样得到 same-snapshot repeat disagreement，对跨快照配对采样得到 cross-snapshot disagreement，二者相减即为 excess churn。评估采用 normalized-exact 与 blinded-semantic 两套指标，后者由盲评语义裁判判断一致性。实验预注册，并通过 delayed gold 机制避免事后选择偏倚。

输出：excess churn 百分点（NQ 上 6.44 / 10.25 pp；DeepSeek 复现 8.75 pp）与 repeat-stable flips 数量（NQ 40/400），暴露聚合准确率仅 −1.50 pp 变化下的兼容性损失。工程启示：索引更新上线前应审计答案兼容性，而不只看 accuracy。

差异点：相比一次性 A/B 或单轮评估，该方法用同快照重复采样显式扣除生成随机噪声，把语料诱导的答案变化与采样波动分离开来。

实验

实验设计

论文将冻结的 FineWeb 前缀从 1 个 shard 扩展到 7 个 shard，锁定生成配置（模型标识、提示词、检索策略、证据深度、渲染与生成控制），在 Natural Questions 400 题与 TriviaQA 200 题上做预注册实验。核心对比是 同快照重复生成 与 跨快照生成 的答案不一致率，以剥离随机采样噪声，估计 excess churn。

关键发现

• 在 NQ 上，normalized-exact 与 blinded-semantic 的 excess churn 分别为 6.44 pp 与 10.25 pp，而 exact-match 准确率仅变动 -1.50 pp。
• 事后分析发现 40/400 题出现 repeat-stable semantic flips，说明部分翻转并非采样噪声。
• TriviaQA 上 excess churn 方向一致但幅度更小，exact-match 准确率却反向变化。
• 使用第二个 DeepSeek 生成器与 serving 配置的 100 题子集复制中，semantic excess churn 为 8.75 pp，exact match 反而上升 3.00 pp。

工程启示

该工作区别于常见的聚合指标评测：它显式把 same-snapshot repeat disagreement 作为噪声基线，避免单次对比高估语料更新影响。对 RAG 工程来说，索引更新后即使总体准确率无明显变化，也可能有显著答案翻转，需增加 答案级兼容性审计，而不是只看 utility 面板。

行业影响

落地场景

RAG 系统广泛应用于企业知识库问答、客服机器人、内容平台事实核查、电商导购与金融/医疗合规助手。当底层语料索引更新（如新增文档、扩充分片）时，即使模型版本、prompt 和检索策略不变，用户看到的答案也可能悄然变化。本论文提出的 Snapshot Compatibility Audit 正是为了量化这种“隐性答案漂移”，防止发布后用户抱怨“同样的问题，答案变了”。

商业价值

• 降低用户投诉与信任风险：一致性是知识型产品的生命线，答案前后不一致会让用户质疑系统可靠性。
• 避免 A/B 测试干扰：索引更新与模型更新混淆，导致实验归因失真，浪费迭代资源。
• 减少人工排查成本：通过自动检测超额 churn，提前定位是索引变化而非随机采样导致的行为改变。
• 合规审计：金融、医疗等强监管场景需要可解释的答案稳定性证明。

跟现有产品/工作流的接口

可将该审计方法集成进 CI/CD 评测流水线，作为发布前的“兼容性门禁”：

1. 在 staging 环境对同一批查询分别请求旧、新索引快照，并重复采样 K 次；
2. 计算 cross-snapshot disagreement 与 same-snapshot repeat disagreement，差值即为 excess churn；
3. 若 excess churn 超过预注册阈值，则阻断发布，并触发人工审查或回滚。 该指标可与现有 accuracy、BLEU、semantic similarity 并列展示，形成多维度 dashboard。

具体 use case：电商平台商品问答助手在索引扩充商品评论后，需确认答案未发生无谓变化；金融研报问答系统更新财报数据时，应验证历史问题答案是否稳定。

局限

• **外部效度有限**：实验仅基于 Natural Questions 与 TriviaQA 两个问答数据集、FineWeb 语料前缀的一到七分片扩展这一单一更新类型，以及有限生成器配置（含 DeepSeek 复现）。不同领域语料、不同更新粒度（如文档删除、内容修订、增量滚动更新）或不同生成器家族可能导致不同的 churn 水平，结论外推需谨慎。
• **计算成本较高**：Snapshot Compatibility Audit 需在同一快照内进行多次重复生成以估计 baseline disagreement，同时还需跨快照比较，这显著增加推理调用次数。对于生产环境的大规模语料更新，重复采样成本可能难以接受；且论文未系统探讨重复次数、温度等采样参数对 excess churn 估计精度与方差的影响，实际部署时可能面临预算分配难题。
• **语义判断器可靠性**：语义 excess churn 依赖 blinded semantic judge（可能为 LLM 评判器），其自身一致性、偏差及对同义表达边界的判定模糊性会直接影响结果。虽然论文进行了盲评与 cross-family judge 审计，但语义等价判定本身仍存在固有不确定性，可能高估或低估真实语义翻转数量，且该环节的可靠性未做严格校准。