面向视网膜眼底图像的可解释基础模型

TL;DR DualIFM 是一个可解释的视网膜眼底图像基础模型，通过 BagNet 骨干生成忠实类证据图，并结合 2D 投影层可视化表示空间，性能媲美大模型但参数少 16 倍。

问题

问题背景

在医学影像分析中，基础模型（如 RETFound ）通过自监督学习从大规模无标签数据中提取可迁移表征，已在下游任务中取得领先性能。然而，这些模型普遍缺乏内在可解释性，在高风险领域（如眼科疾病诊断）中，无法直接解释预测依据，限制了临床信任与部署。

现有方法局限

当前主流的视网膜基础模型（如 RETFound）依赖 ViT 或 ResNet 等架构，可解释性依赖事后归因方法（如 Grad-CAM）。这些方法存在以下局限：

• 归因不忠实：事后热力图可能高亮无关区域，并非模型真实决策依据，易产生虚假信心。
• 感受野与语义错配：全局感受野难以定位细粒度病变，且 token 合并操作丢失空间对应关系。
• 表征空间不可视：高维隐空间无法直接观察全局结构，难以发现数据中的虚假相关性或临床子群。

此外，RETFound 等大模型参数量大（数亿），计算与存储开销高，不利于边缘部署。

为什么这个问题难/重要

技术挑战：在保持高性能的同时内建可解释性，通常需要在架构层面限制感受野（如 BagNet），这会削弱模型捕捉全局上下文的能力，导致精度与可解释性难以兼得。同时，大规模预训练与约束性架构的结合增加了优化难度，容易收敛不佳。

行业关注度：医疗 AI 的认证与落地受限于“黑箱”问题。可解释的预测不仅能辅助诊断，还能揭示数据偏差、发现新生物标记，因而成为 FDA/EU MDR 审查的重点方向。直接可解释的基础模型能降低部署风险，加速从研究到产品的转化。

行业类比

类似自动驾驶中的端到端模型不仅需要高检测率，还需要可解释的注意力图以通过安全认证，医学基础模型同样面临“性能可解释”的双重约束。

核心洞察

• 通过 **BagNet 骨干实现原生可解释性**，避免了事后归因方法的不可靠性。与 RETFound 等依赖 Grad-CAM 等 post-hoc 方法的 foundation model 不同，DualIFM 将可解释性直接嵌入模型结构——使用固定极小感受野的 BagNet，使网络在推理时自然产生与决策过程严格对齐的类别证据图。这不仅提高了医学应用中模型信任度，还消除了事后解释可能偏离模型真实决策逻辑的风险。
• 在预训练中融入 **2D 投影层**，将高维表示空间直接可视化为可交互的全局结构，实现从实例到数据集的双层可解释性。其他自监督模型通常只能提供局部样本的解释，而 DualIFM 同时输出每个样本的证据图（局部）和整个数据集的表示聚类（全局），可直观发现临床亚组、采集偏差等潜在虚假相关性，为数据质量审查和模型审计提供了前所未有的透明度。

方法

输入与数据流

输入为多种来源的彩色眼底照片，总计超过 800,000 张。图像经过标准增强与归一化后，输入至一个空间受限的 CNN 骨干——BagNet。该网络的核心特性是每个特征仅依赖输入图像的一个极小局部区域（感受野有限），从而将模型的决策自然地分解为各局部块证据的线性组合。

关键模块：类别证据图与二维投影层

1. 可解释分类头：BagNet 最终层直接输出各类别的证据图（class evidence maps），每个像素值表示该区域对相应类别的支持度。通过全局池化聚合为类别分数，实现预测与解释一体化，无需事后归因。
2. 二维投影层：在自监督预训练阶段，模型在 BagNet 表示之上附加一个可学习的二维投影层，将高维特征映射至二维平面。损失函数除自监督目标外，可能包含保持局部邻域结构的约束，使得投影空间能直接可视化整个数据集的嵌入分布，从而暴露有意义的临床聚类与潜在的虚假关联。

自监督预训练与微调

预训练采用无监督方式（具体方法如对比学习或 Barlow Twins）利用大规模无标注数据学习通用表示。训练时，二维投影层作为辅助输出，帮助开发者从数据集级别观察模型学到的结构。下游任务微调时，该投影层被移除，仅保留 BagNet 编码器并追加任务头。推理阶段，模型可同时输出预测结果与对应的证据图。

与同类方法的差异

相较于 RETFound（基于ViT的自监督模型，参数多 16 倍且需事后可解释性分析），DualIFM 以轻量级架构实现可比较性能，并通过设计即可解释（BagNet 内置证据图）与训练即透明（二维投影可视化表示空间）双重机制，避免了后处理解释的不可靠性，尤其适合高风险医学影像场景。

实验

实验设计

Dual-IFM 的预训练基于来自多个公开与私有来源的 超过 80 万张彩色眼底图像，采用自监督学习（SSL）范式。模型架构以 BagNet 为骨干，通过其固有的小感受野生成类别证据图（class evidence maps）；同时嵌入一个 2D 投影层，在预训练过程中直接可视化表示空间。下游任务聚焦于眼病分类，在多个标准眼底数据集上进行微调评估。此外，实验系统考察了模型的局部可解释性（通过证据图判断哪些图像区域影响决策）与全局结构（通过 2D 投影观察表示空间中的临床聚类与潜在虚假关联）。

关键发现

Dual-IFM 在眼病分类任务上取得了与 RETFound 可比拟的性能，但参数量仅为后者的 1/16（RETFound 约 ~300M，Dual-IFM 约 ~19M）。更重要的是，该模型天然具备可解释输出：

• 类别证据图 忠实反映模型的决策依据，且无需事后归因方法；
• 2D 投影 揭示了按疾病类型、严重程度等形成的有意义临床聚类，同时暴露出数据中可能存在的虚假相关性（例如成像设备或眼底色素造成的偏倚），为数据审计提供了直观视角。

实验还展示 Dual-IFM 在分布外数据上依然能保持可解释的预测，而传统黑盒模型在此场景下则需额外的事后解释步骤。

与基线的深度对比

RETFound 作为眼科领域影响力深远的基础模型，其优势在于强大的表示能力，但代价是更高的计算与存储开销，且其 ViT 架构本身不提供决策解释。Dual-IFM 证明了内建可解释性并不一定以牺牲性能为代价：通过 BagNet 的局部感受野约束与 2D 投影层的全局结构洞察，整个模型在低参数预算下实现了同等水平的泛化能力，同时让从业者能直接审视模型学习到的特征及其潜在的偏差。

这对实际工程的意义在于：在医疗等高风险领域，可解释性不应是事后修补，而应作为架构设计的一等公民。BagNet 风格的设计提供了一种在计算效率与解释性之间取得平衡的可行路径，尤其适用于大规模预训练场景。同时，2D 投影可作为数据集层级的诊断工具，在训练早期即可发现数据质量问题，避免将偏误传递至下游任务。

行业影响

落地场景

Dual-IFM 主打可解释的眼底影像分析，适合嵌入需要透明决策的医疗产品：

• 眼底筛查一体机/手持眼底相机：在体检中心、基层诊所或药房实现实时辅助诊断，自动标记可疑病灶并给出类别。
• 远程医疗平台：作为后端 AI 服务，分析上传照片并输出异常证据图，减少眼科医生远程阅片压力。
• 慢病健康管理系统：定期回顾性分析糖尿病患者眼底照片，早期预警增殖性病变。

商业价值

• 降本增效：仅需 16× 更少参数（对比 RETFound）即可达到相当性能，推理延迟和硬件成本大幅下降，适合边缘部署；自动化初筛可削减大量人工复核工作量。
• 合规与信任增益：内置的类别证据图和2D 表示投影能够满足医疗器械软件（SaMD）对算法透明度的监管预期，加速审批上市。
• 用户体验升级：面向医生的可视化解释可提升对 AI 建议的采纳率；面向患者的视觉解释也能增强病情理解与随访配合度。

与现有工作流的接口

• 模型集成：提供预训练权重（许可证宽松），可直接作为 backbone 嵌入已有检测/分割 pipeline；支持线性探测或全模型微调，输出 logits 或证据图。
• 服务化接入：通过 REST API 或 DICOM 接口集成到 PACS/医院信息系统，并可利用 2D 投影层持续监控数据漂移或亚组偏差。
• 模型与应用市场：可与医学影像云平台结合，下游客户仅需少量标注数据即可构建专属的可解释分类/检测任务。

具体落地 Use Case

1. 大型连锁体检机构的 AI 阅片：每日产生海量眼底照片，要求快速分流。集成 Dual-IFM 后，自动标记糖尿病视网膜病变、青光眼等常见异常，并用热力图高亮微动脉瘤或出血区域；仅将约 10% 的复杂病例推送给医生复核，吞吐量提升显著。
2. 医学影像 PaaS 的“可解释基础模型市场”：平台商提供 Dual-IFM 作为基础模型，医院或研究院微调后即得青光眼分级、黄斑变性检测等应用，证据图输出天然满足多中心临床验证对解释性的要求，降低自研成本。

局限

• **架构的局部感受野局限**：Dual-IFM 采用 BagNet 主干，其小尺寸感受野虽然生成了忠实于决策过程的类证据图，但也牺牲了对大范围病变或全局上下文的建模能力。例如在需要综合视网膜整体结构判断的糖尿病视网膜病变分级中，局部 patch 特征可能不足以捕捉血管迂曲、广泛微动脉瘤等全局模式。这使得模型在某些以全局模式为主导的疾病分类中性能可能与采用全局注意力机制的基础模型（如 RETFound 原版使用的 ViT）存在差距，并且限制了模型向需要长距离依赖分析的任务（如病变分割、疾病进展预测）的迁移潜力。
• **可解释性评估缺乏定量基准**：论文主要通过 2D 投影可视化表示空间和类别证据图展示模型的可解释性，但并未采用标准的可解释性量化指标（如解释的忠实度、删除/插入曲线、与医生标注的病灶区域的重叠率等）进行系统验证。仅仅通过可视化的方式声称“faithful to the model’s decision-making process”说服力有限，难以客观比较其与其它可解释方法（如 Grad-CAM、Integrated Gradients 等后验方法）的优劣，也未能证明这种内置可解释性在下游临床决策中能实际降低错误风险或提升信任度。
• **数据源与任务的泛化边界不明确**：尽管预训练使用了 80 万张彩色眼底照片，覆盖多个数据源，但实验仅聚焦于眼底图像这一固定模态和若干常见眼病分类任务。模型对于其他眼科成像模态（如 OCT、荧光血管造影）及更多样化的种族、设备和采集条件的泛化能力未经验证。此外，2D 投影揭示的潜在虚假相关性（如与采集中心、设备类型相关的聚类）虽然被观察到，但文中并未提出缓解或消除这些相关性的机制，这可能导致在下游部署中模型依赖非临床相关特征，造成性能波动或偏见。