U-TTT: 通过测试时训练实现通用PET图像去噪

TL;DR U-TTT通过测试时训练层与空间-频率双域自适应，让PET去噪模型在推断时动态调整参数，显著提升面对未见剂量与扫描仪等分布偏移的泛化能力。

问题

问题背景

低剂量 PET 图像去噪通过深度学习大幅提升了图像质量与诊断效率，但模型泛化性成为实际部署的瓶颈。在训练数据分布与测试场景（如不同扫描仪或剂量水平）存在差异时，现有方法的性能会出现显著退化。

现有方法局限

主流方法（CNN、Transformer、Mamba 等）均遵循固定参数推断范式，即在训练完成后不再更新权重。这类模型隐含假设测试数据与训练数据独立同分布，无法应对分布偏移。具体而言：

• 无法适应剂量变化：同一模型对不同放射剂量的 PET 数据去噪效果差异大，低剂量伪影残留或过度平滑。
• 跨扫描仪泛化差：不同厂商设备的成像物理特性、重建算法引入的系统性偏差，导致模型失效。
• 微调方案成本高：若为每个新场景重新采集成对数据并微调，标注开销和计算资源在临床中不现实；基于无监督的域适应方法则常缺乏明确的优化目标，易引入伪影。

为什么这个问题难且重要

医学影像的去噪模型必须保证跨机构的稳定输出，而现实中扫描协议、重建参数千差万别，难以穷尽所有组合加入训练集。传统深度学习依赖大规模同分布数据，而 PET 数据的获取尤其昂贵且受伦理限制。解决分布偏移的关键在于让模型具备在线自适应能力——在推断时仅利用单张测试图像调整自身参数。这种能力需要高效的自监督损失函数与稳健的优化策略，避免过拟合或灾难性遗忘。业界对可泛化医疗 AI 的关注持续升温，FDA 等监管机构也对模型鲁棒性提出更高要求，因此该问题兼具学术价值与实用迫切性。

行业类比

类似自动驾驶感知系统在面对不同天气、光照和摄像头型号时，需要在线域适应以维持分割与检测精度。医学影像的去噪模型同样必须能够“入乡随俗”，在不重新训练的前提下适配每个扫描场景的特定退化模式。

核心洞察

• 测试时训练 (Test-Time Training, TTT) 将模型从静态参数范式转变为实例级自适应推理：传统 PET 去噪方法在训练完成后参数冻结，面临分布偏移时无法调整，而 U-TTT 在推理阶段为每个测试样本动态更新部分参数，通过自监督任务学习样本自身的退化特征，无需额外标签。这从根本上改变了模型应对分布外数据的方式，使泛化成为模型内在的能力而非依赖数据覆盖。
• 空间-频率双域适应机制首次在 3D PET 去噪中同时显式建模结构退化与频谱噪声：S-TTT 层在空间维度捕捉并修正局部解剖结构的畸变，F-TTT 层则通过频率域操作抑制全局噪声并恢复高频纹理；二者协同解决了单一域方法（如仅空间卷积或仅频域滤波）难以兼顾的结构完整性与细节保真的矛盾，为低剂量 PET 的临床可部署性提供了更全面的保障。

方法

输入与整体架构

U-TTT 采用编码器-解码器风格的 U 型网络,接收低剂量 PET 图像作为输入,通过下采样编码器提取多尺度特征,再经上采样解码器逐步重建出全剂量高质量 PET 图像,跳跃连接直接传递空间细节。

关键模块:双域测试时训练

核心创新在于解码阶段集成的测试时训练(TTT)层,包含:

• 空间 TTT 层 (S-TTT) : 作用于特征图的空间域,通过自监督辅助任务(例如基于图像自身结构的预测与一致性约束)捕获并修正空间结构性退化,如局部纹理扭曲、器官边界模糊。
• 频率 TTT 层 (F-TTT) : 将特征变换到频域(如通过快速傅里叶变换),分析全局噪声频谱,通过自监督损失抑制高频噪声并恢复微细结构,例如纹理和边缘的高频分量。

测试时推理流程

对每一个测试样本:

1. 固定模型 backbone 权重,仅对 S-TTT 和 F-TTT 层的参数执行少量梯度更新。
2. 更新目标为自监督损失,该损失由输入的低剂量图像与当前去噪输出在空间/频域的一致性定义(无需真实标签)。
3. 经数次迭代后,TTT 层参数自适应调整完成,模型输出最终去噪图像。

这种机制使模型能动态适配不同剂量水平、不同扫描仪带来的分布偏移。

损失函数设计

训练阶段使用配对数据进行监督学习(如 L1/L2 损失),同时引入 TTT 自监督损失的预训练版本,使模型学会如何有效利用自监督信号。测试阶段完全依赖自监督更新。

与同类方法的差异

不同于传统固定参数的 CNN/Transformer 方法(如 DnCNN, SpachTransformer)和仅空间域自适应的测试时方法,U-TTT 首次在 PET 去噪中引入空间-频率双域 TTT,更全面地处理全局噪声谱与局部结构退化,显著提升分布外泛化能力。

实验

实验设计

U-TTT 在多种 PET 图像去噪设定下进行评估。测试数据包含不同剂量水平（例如全剂量的 50% 至 10%）以及不同扫描仪型号（如 Siemens Biograph mCT 与 GE Discovery MI）的低剂量 PET 图像，以模拟真实世界中常见的分布偏移。

模型在训练集（固定剂量与扫描仪）上训练后，对每个测试样本执行测试时训练：通过自监督损失在空间域和频率域对模型参数进行少量梯度更新，实现自适应去噪。比较对象包括基于 CNN、Transformer、Mamba、RWKV 等架构的主流固定参数去噪方法。

关键发现

• 在未见过剂量水平的测试数据上，U-TTT 的去噪性能显著优于所有固定参数基线，PSNR 和 SSIM 提升明显，尤其当剂量极低时优势最大，表明测试时自适应有效克服了训练-测试分布差异。
• 在未见过扫描仪的迁移场景中，固定模型普遍出现性能骤降，而 U-TTT 依然保持较高重建质量，验证了其对硬件差异的鲁棒性。
• 空域 S-TTT 层主要修复结构伪影和纹理退化，频域 F-TTT 层则抑制全局噪声基底并恢复高频细节，两者互补，联合使用效果最佳。

与基线比较的深度解读

传统固定参数模型将去噪视为从 x 到 y 的映射，一旦测试分布偏移，这个映射就会产生误差。U-TTT 的核心突破在于将去噪重新定义为针对每个测试样本的即时优化问题，通过 TTT 层使模型主干所学的通用先验能够与测试样本的特定退化模式快速对齐。这一范式转变与当前大模型中的 In-Context Learning 有异曲同工之处，但面向的是低层视觉任务。

实验显示，对于极低剂量和高噪声的样本，固定模型往往过度平滑或残留噪声，而 U-TTT 通过自监督空间-频率联合约束，能更精细地权衡噪声去除和结构保持。然而，TTT 层的引入也带来了额外的推理计算开销，需要在实时性要求高的场景中权衡。整体上，U-TTT 为医学影像去噪的临床泛化提供了新的思路，也为其他模态的鲁棒视觉任务提供了可借鉴的框架。

行业影响

落地场景

U-TTT 的核心价值在于解决 PET 图像去噪模型在分布偏移下的性能退化，因此可直接嵌入医学影像设备与诊断平台的软件栈。具体场景包括：

• 低剂量 PET 扫描仪：设备制造商（如 Siemens Healthineers、GE Healthcare）可将其集成到重建后处理管线，允许临床以极低辐射剂量（如 1/4 标准剂量）成像，显著降低患者辐射暴露，同时确保图像质量不降级。
• 多中心、多机型影像质控：医疗 AI 平台或科研协作网络常面临不同扫描仪/示踪剂组合导致的数据分布差异；U-TTT 的 测试时自适应 特性可让云端的去噪服务对不同来源的扫描数据自动校准，无需为每种设备单独训练模型。
• 移动/应急 PET 设备：便携 PET 或术中 PET 常因硬件简化导致信号噪声模式多变；U-TTT 的实例级调节能力能在缺乏大规模训练数据时仍输出诊断可靠的图像。

商业价值

• 降本：低剂量方案可减少放射性药物用量，直接降低单次扫描耗材成本；同时避免因图像质量不佳导致的重复扫描，提升设备周转率。
• 增收：去噪增强功能可作为高端机型或软件的 差异化付费模块，帮助设备商提升竞争力与客单价。
• 体验/安全：辐射剂量降低意味着患者与操作者的风险下降；自适应去噪让跨院区会诊时的影像一致性提升，减少误诊风险。

与现有产品/工作流的接口

U-TTT 以即插即用的后处理模块形式接入现有影像流水线：

1. 输入：接收低剂量 PET 重建后的图像（如 3D NIfTI 或 DICOM 格式）。
2. 推理阶段：对每个测试样本动态执行少量反向传播步，通过 S-TTT（空间域）和 F-TTT（频域） 的自监督损失更新部分参数，计算开销可控（可通过 GPU 加速）。
3. 输出：去噪后图像直接供给放射科医生阅片或定量分析工具（如 SUV 计算）。 该模块可封装为 Docker 容器或推理引擎插件（例如集成到 NVIDIA Clara 或医院 PACS 网关），无需改变上游采集与重建流程。

具体落地示例

• 全身低剂量 PET/CT 筛查：在定期体检或高风险人群筛查中，采用 1/6 标准剂量的扫描流程，U-TTT 模型作为后处理节点部署在云端，自动适应不同体检中心的多种机型，保证结节/代谢异常的检出率不因剂量降低而下降。
• 多中心临床试验影像分析：药企外包 CRO 的 PET 数据来自数十个站点，图像噪声水平差异显著；集成 U-TTT 的图像标准化步骤，让后续的 SUV peak 自动分割 或 病灶纵向比较 算法输入更统一，提升定量终点统计效力，减少因仪器差异导致的假阴性。

局限

• **推理计算开销显著增加**：U‑TTT 需要在测试时对每个样本执行自监督训练步骤以更新 S‑TTT 和 F‑TTT 层参数，这与传统固定参数模型相比引入了额外的计算负担。论文未明确量化推理延迟或 GPU 内存增量，这对于实时或高通量临床环境可能成为部署瓶颈，特别是在低剂量 PET 快速筛查场景中，额外的迭代过程可能削弱其实用性。
• **自监督代理任务的通用性未充分验证**：双域适应依赖特定的空间和频率掩码策略来构造自监督目标，但测试时分布偏移可能包含训练中未见的噪声模式（如非平稳噪声、重建伪影差异），此时预设的自监督任务可能无法提供足够的学习信号，导致参数更新方向不理想，甚至出现负迁移。论文未讨论代理任务设计失败的边界条件。
• **评估场景相对受限**：实验仅在单中心数据集上使用两种剂量水平和两种扫描仪进行分布偏移模拟，但真实临床部署中还会面临更多变异（如不同示踪剂、床速、重建算法版本等）。此外，论文未与诸如贝叶斯神经网络或归一化流等同样关注不确定性与泛化的方法进行对比，限制了方法相对优势的全面展示。