UniH³：统一层级式同质性与异质性的一体化医学图像复原

TL;DR UniH3 用 H2M 共享解剖先验与 H2B 任务平衡,统一层级同质性/异质性,单一模型多任务医学图像复原达 SOTA。

问题

问题背景

All-in-One 医学图像恢复（MedIR）正逐渐成为研究焦点，目标是用单一通用模型处理跨模态、多退化类型的复原任务，以降低多模型部署与维护成本。

现有方法局限

当前方法主要聚焦于建模任务间异质性，如不同模态的数据分布差异与退化类型差异，但普遍忽视医学图像中广泛存在的同质性——例如不同模态间共享的解剖结构先验。这种忽视带来两个技术瓶颈：

• 模型缺乏可复用的高质量先验，训练时需从零学习各任务的底层结构表征，增加优化难度且泛化受限；
• 多任务学习中的优化冲突（inter-task 与 intra-task）未被显式缓解，导致部分任务性能受限或训练不稳定。 现有方法常采用任务特定分支或提示，但未在通用框架内同时利用同质性并平衡异质性。

为什么这个问题难/重要

难点在于同质性先验 的提取与注入必须保持层次化：既要在同一模态内利用局部解剖结构一致性，又要跨模态迁移全局形态特征，而退化干扰会使先验检索易受噪声影响。此外，多任务梯度冲突是通用模型的核心挑战，单纯加权或梯度投影难以适应高度不平衡的医学数据分布。业界对通用医疗 AI 模型需求迫切，因为实际部署中模态与退化类型不断扩展，单任务模型难以快速覆盖；一个能同时利用同质性先验并平衡任务冲突的框架可显著降低训练与维护门槛。

行业类比

这类似于基础视觉模型 在自然图像去噪/超分中统一处理多种退化类型，通过共享底层图像先验减少专用模型数量——医学图像恢复也可以依赖解剖结构先验实现类似的“一次训练、多处复用”。

核心洞察

• UniH3 将医学图像恢复从单纯的任务异质性建模转向同时利用跨任务共享的同质性先验，通过记忆机制蒸馏高质量图像中的解剖结构共性，为通用模型提供更强的归纳偏置。
• 现有 all-in-one 恢复方法通常将多任务学习视为对不同数据分布和退化类型的独立适配，而 UniH3 指出医学图像在模态内与模态间存在广泛的结构同质性（如器官形态、纹理模式），这些先验可以显式提取并作为条件信息注入恢复过程，从而降低训练难度、提升泛化能力。与仅依赖退化感知或任务特定模块的 baseline 相比，同质性记忆让模型在单一任务和跨任务场景中都能利用共享表征，缓解了小样本或分布偏移下的性能退化。
• UniH3 提出层级异质性均衡器 H2B，同时处理任务间（inter-task）和任务内（intra-task）的优化冲突，而不是采用简单的梯度投影或静态权重调整。
• 多任务学习中常见的负迁移源于任务间梯度方向冲突，但同一任务内不同样本或模态也可能存在优化不一致。H2B 通过分层设计分别对这两类冲突建模，使得模型在追求任务均衡的同时不牺牲单任务精度。与常见的 uncertainty weighting 或 GradNorm 等方法相比，H2B 显式区分冲突层级，能更细粒度地协调优化过程，这在包含 2D 和 3D 数据、多种退化类型的复杂 MedIR 基准上尤为关键。

方法

方法核心

UniH3 以 all-in-one MedIR 为框架，输入为低质量医学图像（可能来自不同模态与降质类型），输出恢复后的高质量图像。核心流程如下：

1. 同质性建模：Hierarchical Homogeneity Memory (H2M) 在训练阶段从高质量图像中渐进蒸馏 intra-task 与 inter-task 的同质性先验（如跨模态共享解剖结构），并以分层记忆库形式存储。推理时根据输入特征自适应检索最相关先验，降低模型对海量配对数据的依赖，提升泛化。

2. 先验注入：Homogeneity-Guided Attention (HGA) 将检索到的先验作为注意力引导信号，注入恢复主干网络的关键层，实现条件化恢复。该机制轻量高效，避免了大幅增加计算成本。

3. 异质性平衡：Hierarchical Heterogeneity Balancer (H2B) 在优化阶段同时缓解任务间梯度冲突和任务内样本难度差异，通过动态调整损失权重或梯度更新方向，保障多任务学习均衡，防止某些易优化任务主导训练。

与同类方法差异：现有 all-in-one MedIR 方法侧重建模任务间异质性，往往忽略医学图像中广泛存在的同质性结构；UniH3 通过记忆蒸馏与检索显式利用同质性先验，并结合 H2B 平衡多任务冲突，从而在通用性与单任务性能上均取得提升。

实验

实验设计

• 在 MedIR-2D-500K 和 MedIR-3D-3K 两个大规模基准上评估，覆盖多模态、多降质类型与 2D/3D 数据。
• 同时测试 all-in-one 统一模型与单任务恢复性能，验证通用性与任务特异性。
• 消融研究验证 Hierarchical Homogeneity Memory (H2M)、Homogeneity-Guided Attention (HGA)、Hierarchical Heterogeneity Balancer (H2B) 各模块贡献。

关键发现

• UniH3 在 all-in-one 与单任务设置下均达到 state-of-the-art，表明同质性先验与异质性平衡策略有效。
• H2M 蒸馏的层次同质性先验可引导恢复，提升跨任务泛化，尤其在数据分布差异大的场景下。
• H2B 缓解了任务间及任务内优化冲突，使多任务学习更稳定，避免了负迁移。

对比解读

• 相比仅建模异质性的方法（如不同任务独立分支或共享骨干），UniH3 显式利用解剖结构等共享同质性，降低了训练难度并提高泛化。
• 同质性引导注意力（HGA）以低计算开销注入先验，未显著增加推理负担，适合医疗场景。

行业影响

落地场景

UniH3 作为通用医学图像恢复模型，可嵌入医学影像平台、远程诊断系统、手术导航与影像归档产品。典型业务包括：

• 多模态影像增强：同一模型处理 CT、MRI、超声等降质图像，适合部署在区域医疗影像中心或云 PACS 中，为下游诊断、分割、配准提供更干净的输入。
• 移动端/低剂量成像：低剂量 CT、快速 MRI 或便携超声通常噪声高、分辨率低，UniH3 可实时恢复，改善远程阅片体验。

具体 use case：某远程医疗平台集成 UniH3 作为前置预处理服务，医生上传低质量影像后，系统自动增强并给出标准化视图，减少重复扫描率；医疗器械厂商将 UniH3 嵌入 CT 设备软件，在低剂量扫描下仍输出诊断级图像，降低患者辐射风险同时提升设备竞争力。

商业价值

降本：通过单模型覆盖多任务，省去为每种模态/降质类型单独训练和部署多个模型的成本，硬件占用和运维复杂度显著下降。

增收：通用恢复能力可作为 API 或 SDK 授权给第三方医疗软件，形成新的商业模式；同时提升现有产品的功能卖点。

体验提升：医生获得更一致的图像质量，减少手动调参和重复扫描，加快诊断流程。

与现有产品/工作流的接口

集成方式灵活：

• 作为 推理服务：封装成 Docker 镜像，通过 REST/gRPC 接口供 PACS、RIS 或 AI 辅助诊断系统调用；输入 DICOM，输出增强后的 DICOM。
• 作为 前置增强模块：插入现有分割/检测 pipeline 之前，无需修改下游模型即可提高准确率。
• 混合部署：在 GPU 资源受限的医院端，可采用轻量版或蒸馏版，云端执行完整模型。

UniH3 的 H2M 记忆模块支持增量更新，便于适配新模态或新降质类型，而无需从头训练整个模型。

局限

• **H2M 模块对高质量参考图像的依赖** 是一个潜在局限。该方法在训练阶段从高质量图像中蒸馏同质性先验，但医学图像的高质量标准往往因模态、设备和采集协议而异，统一的高质量参考集可能无法覆盖所有临床场景。若先验记忆容量固定，面对长尾分布中的罕见解剖结构或退化类型，检索到的先验可能与输入不匹配，反而引入噪声。论文未讨论如何动态扩展或更新记忆库，这限制了模型在真实多变环境下的适应性。
• **整体框架的计算开销未充分评估**。UniH3 在现有恢复网络基础上增加了 H2M、HGA 和 H2B 三个模块，其中记忆检索和异质性平衡涉及额外的前向与反向计算。论文仅在精度指标上报告了 SOTA 结果，没有提供参数量、FLOPs、推理延迟或训练时间等效率指标。对于需要实时处理的医学影像应用（如术中导航或急诊），额外开销可能成为部署障碍。与一些轻量级多任务学习方法相比，该设计更偏向精度而非效率。
• **实验基于合成退化数据，真实临床泛化性存疑**。论文使用 MedIR-2D-500K 和 MedIR-3D-3K 基准，其低质量图像通常由特定噪声、模糊或下采样合成。然而，真实医学图像退化往往是多种物理因素（如运动伪影、散射、金属伪影）的复杂耦合，且分布偏移显著。模型是否能在未见过的真实退化类型上保持鲁棒，尚缺乏验证。此外，跨模态实验虽展示了 all-in-one 能力，但对训练中未出现的新模态（如病理切片）的零样本迁移性能未做深入分析。