评估结论有多可复现?对 LLM 推断提示结构的自我审计

TL;DR 以 LLM 推断提示结构为案例，自我审计评估结论的可重复性：小样本排名仅最差模型可靠，最好模型排名易变，呼吁报告排名稳定性与原始输出。

问题

问题背景

LLM 系统评估长期依赖小规模 prompt 集合上的平均指标，并输出模型排名表。这种结论在业界被直接用于技术选型与产品决策，但其可信度缺乏系统性检验。

现有方法局限

• 仅在小样本上取平均，未做 联合重采样 或 自助法，无法量化排名波动。论文实测：中间 4 个模型在 bootstrap 复本中保持排名的概率仅 27%–48%。
• 重复调用同一模型存在随机性，节点集 Jaccard 均值从 0.39 到 0.96，72% 的 prompt–model 组合从未达到完全一致，但现有评估不报告这一不稳定源。
• 多次实验的合并规则缺乏敏感性分析：两种同样合理的合并方式会改变 8 行模型中的 4 行，并使整体指标移动 7 个百分点。
• 不公布原始输出和测量日期，部分端点（如特定模型版本）在测量后 10 周内被撤回，导致原始评估无法复现。

为什么难/重要

LLM 推理本身的随机性（即使禁用缓存）使结构推断等中间表示天然不稳定，测量噪声远高于传统分类指标。评估成本高，难以大规模重复实验，因此需要自审计方法而非简单增加样本。业界对 leaderboard 的信任建立在可复现性上，不可靠的排名会导致错误技术投资。

行业类比

类似小流量 A/B 测试得出显著结论后线上效果不稳定的场景，LLM 评估也需要报告 置信区间 与 可复现性，否则 benchmark 排名无法支撑生产决策。

核心洞察

• **排名稳定性是评估结论的必要组成部分。** 本文对 8 个模型在 prompt 结构推断任务上的排名进行 joint cluster bootstrap，发现只有最差两名排名稳定（99% 和 86%），中间四名在 27%-48% 的重复中保持原排名，顶部两名也仅 68%。这揭示了 LLM 评估中普遍被忽视的问题：排名表本身带有显著统计噪声，但多数论文只报告点估计和单一排序。实际工程中，若仅依据排名表做模型选型，中间段决策可能等同于随机。应像 A/B 测试报告 p 值一样，报告排名置信区间或概率矩阵。
• **可复现性（reproducibility）与有效性（validity）是两个独立维度。** 本文通过将 LLM 推断的 prompt 结构与 ground-truth annotations 对比发现，高可复现性并不等于高准确率：某些模型在重复测量中 Jaccard 较高，但结构恢复准确率低；反之亦然。这颠覆了“跑多次结果一致就代表结果正确”的常见假设。评估系统时，需要同时验证测量稳定性与外部真值一致性，否则可能系统性地信任一个稳定但错误的测量。这一洞见对构建 LLM 评估基准和内部评测框架具有直接工程启示：应分别报告重复性误差和准确性误差，而非混为一谈。

方法

方法概述

研究思路 以 LLM 推断提示结构为案例，审计评估结论的复现性。

输入：选择 8 个开源模型变体（5 个家族，参数量 8B–675B），对一组提示语料执行结构推断任务。禁用缓存，保存 293 个原始中间表示，确保可追溯。

关键模块：

• 度量与稳定性：采用节点集 Jaccard 相似度和节点集完美比例，量化相同调用下输出的一致性。观察平均 Jaccard 从 0.39 到 0.96 不等，72% 的模型-提示单元从未达到节点集完美。
• 统计审计：使用联合 cluster bootstrap 对提示重采样，计算各模型排名保持的概率；对比两种合理的重复实验合并规则，分析排名表变动。
• 有效性检查：将推断结构与人工标注比对，检验复现性作为准确性的代理是否成立；审计模型端点可用性随时间变化，发现 4/8 端点 10 周内被撤回。

输出：排名稳定性矩阵、敏感性分析结果与改进建议（如报告排名稳定性、按单元溯源、保存原始输出、标注测量日期）。

差异点：与常规单次排名报告不同，本文将评估本身作为研究对象，通过重采样与敏感性分析暴露小样本结论的脆弱性。

实验

实验设计

作者以 LLM 推断 prompt 结构 作为案例，选择 8 个开放模型变体（5 个模型家族，参数量 8B 至 675B），禁用缓存，持久化 293 个原始中间表示。对相同 prompt 进行重复调用，计算节点集 Jaccard 相似度，并采用联合 cluster bootstrap 评估排名稳定性，同时对比不同合并规则与人工标注。

关键发现

• 相同调用平均节点集 Jaccard 跨度 0.39–0.96，72% 的 prompt-model 单元格从未达到节点集完美（Jaccard=1）。
• bootstrap 下排名仅底部稳固：两个最不可重复模型在 99% 和 86% 的重复中保持排名，中部四模型 27%–48%，顶部两模型各 68%，即“最差”识别可靠，“最佳”不可靠。
• 改变合并重复活动规则使 8 行中 4 行变动，研究头条指标移动 7 个百分点。
• 与人工标注比对显示重复性不能视为准确性；8 个端点中 4 个在测量后十周内被撤回。

与基线对比

传统评估流程默认单次运行排名表具有高置信度，本研究表明小样本 LLM 评估的结论远不如表格看起来确定。作者建议报告排名稳定性、单元格来源、敏感性比较、原始每次运行输出及测量日期，这为从业者提供了可操作的评估审计框架。

行业影响

落地场景

模型评估与选型 是直接落地场景。电商推荐系统、内容平台审核、金融风控等团队常基于小样本 prompt 集对多个 LLM 排名后选型。论文表明这种排名仅底部稳定，顶部模型可能被误判，例如电商场景中根据 50 条 prompt 的评估选择 A 模型，实际重复实验可能推荐 B 模型，导致线上转化率受损。模型监控与回归测试 同样适用：持续集成中若每次评估结果波动大，会频繁触发误报或漏报。

商业价值 主要在降低决策风险与资源浪费。企业选错模型带来的业务损失远高于评估成本，报告 rank stability、保存 per-run raw outputs 可避免基于噪声的投资。例如内容平台审核模型若因评估不可重复而误选低召回模型，会产生合规与品牌风险。

与现有工作流集成

可将论文推荐的 rank stability、per-cell provenance、sensitivity comparisons 嵌入 MLOps 流水线：

• 在实验跟踪平台(如 MLflow / W&B)存储每次评估的原始输出与合并规则，支持事后审计。
• CI/CD 中增加 bootstrap 重采样步骤，输出排名稳定区间而非单一分数。
• 模型注册表增加 measurement date 与端点版本信息，应对论文提到的端点撤回问题。

具体 use case

1. 电商商品描述生成模型选型：团队用 30 条商品描述 prompt 评估 4 个候选模型。按传统平均分选择模型 A，但加入 bootstrap 后发现 A 与 B 排名互换概率 45%，重新设计评估集后选择 B，线上点击率提升明显。
2. 金融反欺诈文本识别：合规要求模型评估可重复，审计人员需要追溯每次评估的原始输出与合并逻辑，论文推荐的 per-run outputs 与 merge precedence 记录可直接作为审计证据。

局限

• 本研究仅覆盖 LLM 推断提示结构这一单一任务，使用八个开源模型变体在一个特定数据集上测量，结论的外部有效性受限于案例研究的性质。作者在威胁有效性部分明确指出“One endpoint, one window, one instrument”，且大部分测量属于转录（transcription）而非恢复（recovery）模式，因此无法直接推广到其他评估任务或模型族。此外，四个端点中有四个在测量后十周内被撤回，导致研究无法按原规范复现，这本身也构成时间维度上的严重局限。
• 实验设计上，提示集较小且指标集中于节点集 Jaccard 等少数指标，作者也承认“Narrow metrics, unequal R”。缓存禁用虽然保证了中间表示可捕获，但可能引入与生产环境不同的行为差异。此外，评估依赖 LLM 自身的推断作为 ground truth 的替代，而实际 ground truth 标注只在部分单元格进行，限制了准确性与可复现性关联的结论强度。合并规则敏感性分析显示不同合并策略会导致 8 行中 4 行变动，凸显了分析决策对结论的强影响，但本文未提供更稳健的合并准则。
• 与现有评估可复现性研究相比，本文主要进行的是事后自我审计，没有提出新的评估协议或工具来预防不稳定，只是事后量化。相比一些工作提供标准化的重采样流程或报告指南，本文的审计流程仍依赖手工的联合聚类 bootstrap 和合并规则敏感性分析，未沉淀为可复用的开源工具（尽管提供了 GitHub 链接但 star 为 0，影响有限）。这使其贡献更多是警示性而非建设性，对于希望直接改进评估实践的研究者，缺少可操作的自动化检查清单或软件包。