文档抽取的逐字段选择性风险控制：三种失败模式、有效性阶梯与条件化何时有价值

TL;DR 本文在真实文档抽取任务中诊断出按字段选择性风险控制的三大失效模式（文档聚类、分数重拟合泄漏、并列质量），提出从拟合/验证拆分到 Mondrian PAC 证书的有效性阶梯，并给出条件化何时获益的判据。

问题

在文档抽取领域，模型输出通常需要人工审核兜底。选择性风险控制 (selective risk control) 成为构建系统信任契约的核心：只接受模型高置信度的字段，并保证已接受字段集合的整体错误率不超过预设阈值 α。

现有方法的局限在于，常见的“自然流程”——在校准集上用 add-one bound 对置信度分数阈值化——在真实文档上会静默失效。本文在 13,859 个真实 claude-sonnet-5 字段上诊断出三类失败模式：

• 文档聚类：字段来自同一文档导致无效样本，设计效应达 1.84–2.45，有效校准样本量近乎减半；
• 分数重拟合泄漏：用同一批字段拟合分数和阈值时，覆盖率达 0.416 但风险高达 0.127，95% 的划分下违反 α=0.10；
• tie-mass 病理：退化分数分布使阈值网格塌缩，反事实实验显示仅归零一个信号就导致认证覆盖率从 0.030 暴跌至 0.001。

这个问题难且重要，因为文档字段天然具有层级聚类结构，不满足独立同分布假设；同时离散分数分布使得基于连续阈值网格的经典理论失效。业界对可认证风险控制的需求日益增长，但缺乏统一框架来区分不同保证强度，导致实际系统中常出现看似有效实则失效的部署。

行业类比：类似保险理赔自动审批，系统自动通过低风险案件、人工复核高风险案件，必须保证自动通过集合的整体错误率严格受控，否则会因静默超限引发信任危机。

核心洞察

• **逐字段选择性风险控制** 的自然程序在真实文档上会静默失效，本文量化了三大失效模式：文档聚类（设计效应 1.84–2.45）、分数重拟合泄漏（95% 分裂违反 α=0.10）以及平局质量病理。独特之处在于从 13,859 个真实模型输出字段中诊断出这些陷阱，而非仅依赖模拟或 i.i.d. 假设，为工程实施提供了明确的失效检测清单与校准拆分纪律，直接回答“为什么常规做法不可信”。
• **“有效性阶梯”** 区分了期望选择性风险控制与逐组 PAC 证书，并指出文档聚类导致的设计效应使有效校准样本减半，文档级证书几乎空洞。独特之处在于明确标注每层保证的强度，避免从业者将平均风险达标误认为证书级保证，尤其警示在文档抽取这类聚类数据上，文档 i.i.d. 假设难以满足；这为选择合适保证级别提供了决策依据。
• **支持箱来源分类** 在弱模型上优于学习融合，但在高质量语料上学习分数会吸收协变量，池化阈值胜出。独特之处在于提出两区域特征化，指导何时在分类学中显式条件化，何时让学习分数隐式处理，避免了盲目添加协变量导致样本碎片化，同时解释了为何同一方法在不同模型或语料上结论可能反转。

方法

输入

文档抽取系统对每个字段输出一个置信度分数（如模型 softmax 概率或融合后的 learned score），以及预定义的 provenance taxonomy（如 support-bin，描述字段来源的类别）。同时提供一组已标注真实值的文档字段样本。

关键模块

1. Fit/Val 分离：将数据分成拟合集和验证集，在拟合集上训练学习型分数（如融合多种信号），在验证集上选择阈值。这修复了 score-refit leakage——若在同一字段上同时拟合分数和阈值，覆盖率虚高但实际风险远超名义 alpha。
2. Mondrian Learn-then-Test：按分组变量（字段独立同分布、文档聚类修正、或 provenance 分类）划分数据，每组独立用 exact binomial tails 计算 PAC 证书阈值。这种方法显式处理文档聚类导致的依赖性（设计效应 1.84–2.45），避免将相关性误当独立样本。
3. Tie-mass 处理：针对退化分数分布（大量相同分数导致阈值网格失效），要求分数分布无 tie-mass，或通过注入微小扰动保证阈值网格有效，防止覆盖率从 0.030 骤降到 0.001。
4. 条件化策略选择：当存在强学习分数时，协变量直接参与分数融合（无需条件化）；当分数弱或冻结时，将协变量加入 provenance taxonomy 分组，以获得每组的独立风险证书。

输出

逐字段的接受/拒绝决策，以及对应的风险保证：要么是 期望选择性风险（Tier 1–2），要么是 per-group PAC 证书（Tier 3–4）。例如，在 sonnet CORD 数据上，support-bin 分组获得 coverage 0.171 且风险 0.068（字段 i.i.d. 证书）。

差异点

与传统全局阈值化或边际风险控制不同，本方法通过 fit/val 分离与 Mondrian 分组，提供可验证的逐组保证，特别针对文档聚类和分数退化等真实场景的失效模式。

实验

实验设计

• 主数据集 CORD（800 张收据，13,859 个 claude-sonnet-5 字段，49.0% 正确）；泛化验证用 FUNSD 和 XFUND-de。
• 对比过程：naive 阈值法、fit/val split 协议、Mondrian Learn-then-Test (LTT) PAC 证书，以及 support-bin 预定义来源分类。
• 评估指标：期望选择性风险、覆盖率、逐组 PAC 保证；验证用冻结配置和三人标注黄金审计。

关键发现

• Naive 方法失败：score-refit leakage 风险 0.127（95% 拆分违规），覆盖 0.416；文档聚类设计效应 1.84–2.45，tie-mass 病理使覆盖 0.030→0.001。
• Fit/val split 修复：风险 0.096，覆盖 0.318（production 0.326），但 47.5% 重拆分超 α，非证书。
• Mondrian LTT 提供簇级 PAC 证书：field-iid 0.171、cluster-corrected 0.140、doc-iid 0.060；doc-iid 匹配文档层级但接近无效。
• Support-bin 在 sonnet CORD 各严格层级获胜（p<1e-4，Bonferroni 校正），但在 haiku/qwen 上不复现；高准确率语料上池化阈值胜出。
• 黄金审计：实用层级风险 1.3% vs 10% 预算，Fleiss' kappa=0.83。

基线对比解读

• 与 naive 相比，fit/val split 以覆盖下降 0.098（0.416→0.318）为代价换得风险达标（0.127→0.096）。
• Mondrian LTT 提供更强保证但覆盖骤降至 0.060–0.171，形成有效性阶梯：平均保证 < 簇级 PAC < 文档级 PAC。
• 条件化（support-bin）仅在弱/冻结分数且池化无法认证时受益；学习分数足够时，协变量信息已被吸收，池化阈值更优，印证两区域定律。

行业影响

落地场景

文档抽取系统需要对每个字段给出 接受/复核 决策的产品，例如 财务自动化（发票、收据、采购单）、身份验证（护照、驾照）、医疗索赔处理（病历、理赔表）。这些场景中错误字段会导致直接财务损失或合规风险，而全人工审核成本过高。论文提出的 per-field selective risk control 允许系统只自动接受低风险字段，其余转人工。

商业价值

核心价值在降本与风险控制。当前 naive 方法（阈值 + add-one bound）在实际文档上违反 α 风险，导致错误接受率失控。采用 fit/val split 或 Mondrian Learn-then-Test 后，系统能提供可验证的统计保证，避免由于文档聚类、分数重拟合泄漏、tie-mass 病理等失效。例如在 CORD 数据集上，cluster-corrected 方案在 α=0.10 时达成 risk 0.068，同时覆盖 14% 字段自动处理，直接减少人工复核量。support-bin provenance 在弱模型下比 learned fusion 更稳健，避免过度依赖单一模型分数。

与现有产品/工作流的接口

可作为独立的风险控制模块嵌入现有 OCR/文档解析 pipeline：输入字段级置信分数和文档元数据，输出 per-field 的 accept/review 决策及证书。支持 Apache-2.0 许可，seed-pinned 回归测试保证可复现。实现上需注意：

• 训练/验证分离（fit/val split）防止 score-refit leakage；
• 对文档聚类使用 cluster-corrected 分组保证；
• 对离散分数需处理 tie-mass 避免阈值网格塌缩；
• 通过 Mondrian LTT 提供 PAC 证书，满足审计要求。

实际用例：电商平台 的供应商发票自动录入，当模型为较弱（如 haiku）时采用 support-bin 分箱确保风险控制；金融机构 处理贷款申请扫描件，使用冻结配置确认来避免选择偏差。

局限

• - **文档级 PAC 证书覆盖度极低**：论文在 doc-iid 层级得到的覆盖度仅为 0.060，作者也承认这一层证书“honestly near-vacuous today”。这说明严格的文档级选择性风险控制在当前数据规模和模型能力下，尽管形式上有保证，但实际可用性很差，难以满足真实场景中对高召回的需求。
• - **结论高度依赖模型与数据分布**：support-bin provenance 在 claude-sonnet-5 的 CORD 数据上显著优于 learned fusion，但在 claude-haiku-4-5 和 qwen 上并未复现；同时更高精度语料上 pooled thresholds 反而更优。这表明论文给出的两阶段特征（何时 conditioning 有益）缺乏普适性，工程落地时需要针对具体模型和数据重新验证。
• - **与同类通用风险控制框架对比不足**：论文聚焦文档字段抽取这一特定任务和 per-field accept/review 协议，虽然引用了 Mondrian Learn-then-Test 等通用方法，但未与 adaptive risk control、conformal risk control 等更灵活的框架进行系统比较。此外 taxonomy 的构建依赖领域知识（如 support-bin 预定义分类），自动化程度有限，限制了在无先验分类场景下的直接推广。