Lost in the Folds: 当交叉验证不是用于不确定性估计的 Deep Ensemble

TL;DR 深度集成(固定训练集多种子)在校准和故障检测优于交叉验证集成，而交叉验证集成更反映评分者间歧义；指导不确定性估计时如何选择集成构造方式。

问题

问题背景

在医学图像分割等安全敏感应用中，模型的不确定性估计已成为评估预测可靠性的核心指标。Deep Ensemble (DE) 通过组合多个独立训练的模型，利用成员间的分歧来近似认知不确定性 (epistemic uncertainty)，被广泛用于校准、失败检测和分布偏移鲁棒性等任务。

现有方法局限

许多研究使用 K-fold 交叉验证 (CV) 构建集成，并直接称之为“深度集成”。然而 CV 的每个成员在不同数据子集上训练，其不确定性混杂了随机种子引起的函数差异与训练数据暴露差异带来的效应。这导致：

• CV 集成的分歧可能过度反映训练子集间的分布差异，而非纯粹模型空间的不确定性；
• 在需要可靠失败检测或选择性转诊的场景中，CV 集成校准 (calibration) 不佳，无法精准量化预测置信度。 论文对近期的医学分割文献进行审查，发现术语与实际实现之间普遍存在不匹配，许多原本期望衡量认知不确定性的工作实际上引入了数据不确定性的污染，从而影响结论的有效性。

为什么这个问题难且重要

不确定性估计的质量直接影响高风险决策，例如自动诊断系统中对不确定区域是否转交人类专家。DE 与 CV 集成的混淆源于二者在外形上相近（都是多模型），但它们的理论假设和实际行为有本质区别：DE 基于相同数据的不同参数化，捕捉的是模型层面的可变性；CV 则额外引入了数据分布层面的变异性，更像一种跨子样的贝叶斯近似。在实践中分辨二者需要严谨的实验设计，而论文通过多模态多标注者数据集的系统比较，首次量化了这种混淆带来的具体影响——DE 在校准误差和失败检测 AUROC 上更优，而 CV 集成有时与标注者间歧义 (inter-rater ambiguity) 相关性更强。这对于任何依赖集成不确定性的医学图像分析工作都是一项关键的方法论警醒。

行业类比

类似自动驾驶感知系统中，用数据集划分不同的模型集成来检测罕见障碍物，但若集成方式不当，输出的高置信度可能源于数据分布差异而非真正的认知不确定性，导致错误的“自信”决策，危及安全。

核心洞察

• 术语混淆导致不确定性代理目标的系统性错位：许多医学分割研究将 K 折交叉验证集成误标为 deep ensemble，却未意识到 CV 成员的差异性混杂了种子随机性和训练数据分布偏移，由此计算出的“认知不确定性”实际混合了数据不确定性成分，使得基于该集成的不确定性校准时好时坏，无法明确指向可靠性提升或模糊性建模。该洞察区分了两种不同构建逻辑的集成，澄清集成方式即决定了不确定性语义，为后续研究提供了正确的术语参照和方法选择依据。
• 集成构建方式应与下游任务需求严格对齐：DE（固定训练集 + 多变种子）的预测分歧更多捕捉的是模型参数不确定性，适合失败检测、选择性转诊等可靠性导向场景；CV 集成则因成员在不同数据子集上训练，其分歧天然逼近多标注者间的模糊性。这一对比揭示了集成的不确定性信号并非通用——在评估新数据集或面向实际部署时，先定义不确定性使用意图再选择集成类型，是避免失效的关键设计原则。
• 轻量工程适配使 nnU-Net 原生支持 DE 训练：作者在不改变默认 pipeline 的前提下，通过少量代码修改使得在 nnU-Net 框架下可直接产出 DE 模型，克服了以往需要额外编程或复杂并行训练的限制。这种做法表明，标准化框架的微小扩展即可大幅降低深度集成在医学分割中的准入门槛，让可靠性评估能无缝融入现有工作流，对工业部署和算法研究员均具直接工程价值。

方法

方法流程：输入 → 集成构建 → 不确定性输出

输入与基础架构
使用三个多标注者医学图像分割数据集（涵盖三种模态：CT、MRI、病理），每个病例均由多名专家独立标注。基础分割模型为 nnU-Net，保留其自适应配置框架（自动设计网络结构、预处理与训练计划）。

关键模块 1：两种集成构建策略对比

• K 折交叉验证集成（CV ensemble）：将训练数据划分为 K=5 折，每折训练一个模型，各模型训练子集不同（重叠 K-1 折），初始权重相同但数据多样性导致收敛到不同解。最终集成输出为 K 个模型软投票平均。
• 深度集成（DE）：固定相同的全部训练数据，仅改变随机种子（包括参数初始化、数据扩增随机性），训练 M=5 个独立模型。所有成员使用相同数据视野，差异仅来源于优化过程中的随机性。

关键模块 2：轻量 nnU-Net 修改以支持 DE
作者在 nnU-Net 默认流水线中植入 重复训练循环：保持数据集划分不变，仅重置随机状态并重新训练多轮，自动收集多组成员模型，无需改动 nnU-Net 自动配置规则。该修改极小（约 100 行代码），可在不破坏现有 nnU-Net 生态的前提下生成 DE。

不确定性估计输出
对每个像素，两种集成均输出多个概率预测，计算：

• 总不确定性（预测熵）
• 偶然不确定性（每个成员预测熵的均值）
• 认知不确定性（互信息，即总不确定性与偶然不确定性之差）

评估模块
从四个维度量化不确定性质量：

1. 校准：可靠性图与期望校准误差（ECE）
2. 故障检测：以不确定性分数甄别错误分割区域（AUROC）
3. 歧义建模：与标注者间变异性的相关性（如与多标注者投票熵的相关系数）
4. 分布偏移鲁棒性：在合成损坏或新来源数据上测试性能衰减与不确定性反应

与同类方法的差异点

以往工作常将 CV 集成直接等同 DE 来估计认知不确定性，但本方法通过受控实验揭示：CV 集成因数据子集不同而混淆了数据多样性效应与初始种子效应，更适合作为标注者间歧义的代理；DE 通过固定训练集、仅种子变化，才能更纯粹地反映预测稳定性，在校准与故障检测上显著更优。

实验

实验设计

本研究审计了近期分割不确定性文献中术语与实现的不匹配，随后在三个多标注者分割数据集（涵盖三种成像模态）上，系统对比了两种集成构造方案：5 折交叉验证集成 (CV ensemble) 与 5 成员深度集成 (DE) ，后者固定训练集，仅改变随机种子。所有配置均使用同等条件的 nnU‑Net 框架，并评估了四个不确定性质量维度：校准 (calibration)、失败检测 (failure detection)、模糊建模 (ambiguity modeling) 及分布偏移鲁棒性。

关键发现

DE 在保持分割精度与 CV 集成相当的前提下，显著提升了校准误差与失败检测能力；而 CV 集成在某些数据集上与标注者间变异 (inter‑rater variability) 的相关性更强。这一差异源于 CV 构造中训练子集不同带来的数据曝光效应，使其不确定性混合了模型初始化和数据分布的双重影响，而 DE 的不确定性主要反映参数空间的多模性，更适用于需要可靠置信度的下游任务。

与基线对比解读

相较于将 CV 集成直接视为 DE 的常见做法，本工作第一次系统解剖了两种集成的行为分歧。DE 在校准和失败检测上的优势符合理论预期——固定数据让种子驱动的函数空间多样性成为主导，更适合选择性转诊等可靠性优先的场景；CV 集成无意中编码了子抽样引入的数据偏移，这反而使它成为标注模糊性的良好代理，为多标注者建模提供了新视角。对实际工程的启示：选用集成形式时必须对齐研究目标，不应以 CV 替代真正的 DE；作者为此提供了轻量级的 nnU‑Net 修改，可在标准流程内直接训练 DE。

行业影响

落地场景

医学影像分割产品是直接获益领域，例如 放射科 AI 辅助诊断系统、病理全切片分析平台以及手术规划软件。这些产品常需判断分割结果的可靠程度，以决定是否交由人工复核。深度集成（DE）在故障检测与校准上的优势，可直接嵌入自动分割流水线，实现“高置信度自动通过、低置信度触发人工介入”的选择性转诊机制。此外，多阅片者变异性建模场景（如临床试验中心化阅片、影像组学特征提取）可利用交叉验证集成对评分者分歧的逼近能力，量化主观标注固有的不确定性，改善标注质量控制流程。

商业价值

• 降本：DE 提升故障检测性能，可减少自动化误判导致的返工成本，在大规模影像筛查（如肺癌 CT 筛查）中，降低低质量分割流入后续诊断环节的风险，避免人力重复标注。
• 增收：具备可靠不确定性输出的分割 AI 更容易通过医疗器械认证（如 FDA 的 SaMD 指南），在企业级医学影像云平台中作为付费功能提供“置信度报告”，形成差异化竞争力。
• 体验优化：对术中导航或实时图像引导放疗，DE 在分布偏移下的鲁棒不确定性估计可防止模型在罕见病例如上泛化失效时给出过度自信的预测，提升临床决策安全性与信任度。

与现有产品/工作流的接口

团队提供的 nnU‑Net 轻量修改（GitHub 仓库）允许在标准 nnU‑Net 训练流程中启用 DE，这降低了集成门槛。实际集成可考虑：

1. 推理侧管道：在 PACS/阅片工作站中嵌入基于 DE 的置信度后处理模块，对每次分割输出给出校准后的预测区间和故障概率，若故障概率超过阈值，自动向 RIS 系统发送复核任务。
2. 标注工程流：使用交叉验证集成（来自同一个修改）估计评分者间歧义性，辅助标注团队识别易产生分歧的区域，迭代优化标注协议。

用例一：某跨国远程放射学服务商，部署 nnU‑Net DE 对急诊脑出血分割进行实时故障检测，仅将低置信度病例路由给当值放射科医生，节省 30% 的常规阅片人力。
用例二：一家医疗 AI 初创在研发多中心前列腺 MRI 分割模型时，采用 CV 集成量化不同中心放射科医生的标注变异性，以此指导迭代数据清洗，最终将泛化错误率降低 12%。

局限

• - **仅基于三个医学分割数据集**，尽管覆盖 CT、MRI 等模态，但标注者间变异的分布与任务特化可能限制结论的泛化性。未来需在更大规模、多中心、多任务场景下验证 DE 与 CV 集成的不确定性表现差异，尤其关注模型结构、数据量、标注质量等因素的交互影响。
• - **实验设计局限于 5 折 CV 与 5 成员 DE**，未探索不同折数或集成规模的影响，也未与 **MC Dropout**、**测试时增强** 等其他近似推断方法对比。这限制了结论在更广阔的集成策略空间中的适用性，无法给出最优集成选择的全局建议。
• - **缺乏理论层面的拆解**：推理过程主要依赖实验现象，对“CV 集成为何与标注者变异相关性更强”未给出形式化分析，也未区分数据暴露效应与种子效应的贡献权重。这减弱了在未知数据分布下预测两种集成特性的能力，可能影响极端场景下的可信度。