Phase Marginalization：解决 Vision Transformers 中 Patch-Grid 相位不稳定性

TL;DR 针对Vision Transformer密集预测受patch网格划分引入的相位干扰，提出训练无关的Phase Marginalization，通过聚合多相位输出来边缘化这一干扰变量，有效提升分割、深度与匹配精度。

问题

问题背景

Vision Transformers (ViTs) 在密集预测任务（如语义分割、深度估计）中，依赖固定的 patch 划分将图像转化为 token 序列。这种划分引入一个常被忽略的自由度——patch-grid phase（分块网格相位），即 patch 边界的空间偏移量。同一场景，当 patch 网格平移几个像素，像素可能落入不同的 token，尤其靠近语义边界处，导致密集输出对划分相位敏感。

现有方法局限

• 直接上采样或插值：将 ViT 的 patch 特征图直接放大到原分辨率，边界处的 token 分配固化，无法修正相位引起的证据偏差。
• 通用测试时增强 (TTA)：如随机平移、缩放、翻转后再聚合，虽能缓解部分不稳定性，但缺乏对 patch-grid 周期结构的利用。平移量是连续随机的，未覆盖所有离散的关键相位，且聚合方式简单（如平均）忽略了相位间的坐标对齐关系。
• 模型结构改进：如重叠 patch 或连续位置编码，要么增加计算成本，要么需要重新训练，无法作为即插即用的后处理手段。

为什么这个问题难/重要

• 技术挑战：相位是结构化离散变量（偏移量 mod patch_size），需要系统性地评估所有可能的网格对齐，并在原始图像坐标系中正确逆对齐与聚合。简单的平均会因坐标错位导致模糊。
• 应用关键性：在自动驾驶、医疗影像等需逐像素精细预测的领域，边界输出的一致性和稳定性直接影响安全与诊断。ViT 日益成为视觉骨干，但 patch 边界偏倚会降低对场景几何的鲁棒性，成为部署的隐性风险。
• 实践价值：若能以训练无关的方式消除该扰动，相当于给任何现有 ViT 密集预测模型加一层相位鲁棒性保证，可方便嵌入推理流水线，无需重新训练或修改架构。

行业类比

这类似于图像拼接中的接缝消除：当多帧图像因采集相位不同出现网格状伪影时，需通过多相位对齐与融合恢复一致场景——只不过这里“相位”发生在特征 token 层面。

核心洞察

• 将 **patch-grid phase** 明确定义为密集预测中的 **干扰变量** ，并提出后处理边际化方法来消除其影响，区别于以往通过修改训练或随机TTA的思路。该方法无需重新训练，直接利用结构化的网格相位集合进行推理与聚合，精准针对ViT离散分块引入的边界证据漂移问题，为分析和缓解此类不稳定性提供了轻量级基线。
• 与计算量匹配的通用平移TTA对比，**Uniform Phase Marginalization (K=4)** 在Cityscapes上实现了+0.31 mIoU的提升，表明结构化相位探索（固定偏移步长）比随机平移更高效地捕获了网格相位不确定性，验证了针对patch划分专门设计增强策略的必要性。
• K=4 是一个高性价比的权衡点：扩展到 K=8 或 K=16 几乎没有额外精度收益，但计算开销线性增加。这启示在实际部署中，仅需对少数典型相位进行边际化即可有效抑制不稳定，为资源受限场景下的ViT密集预测推理提供了明确的设计参考。

方法

方法：Phase Marginalization

输入：任意尺寸的 RGB 图像，ViT 以固定 patch 大小 $P$ 进行 patchification，默认从坐标 $(0,0)$ 开始划分网格。

核心思想：将 patch grid 的起始偏移定义为相位变量 $\phi = (dx, dy)$，该变量在常规推理中被忽略，但实际会改变像素分配到 token 的边界条件，导致密集预测在语义边缘附近产生不稳定。Phase Marginalization 将该相位视为 nuisance variable，通过评估多个结构化相位并聚合输出，边缘化掉该变量的影响。

关键步骤：

1. 相位空间结构化采样：选择 $K$ 个均匀分布的相位偏移。默认配置 $K=4$，对应偏移 $(0,0), (0, P/2), (P/2, 0), (P/2, P/2)$，覆盖整个 patch 内的所有子像素偏移。
2. 多相位前向传播：对每个相位 $\phi_i$，用对应的重切分图像（或等效地对 padding 后的特征图进行 shift）得到该网格下的 token 序列，送入同一预训练 ViT 输出密集预测图 $\mathbf{Y}_i$，注意这些输出仍位于各自相位的空间坐标系中。
3. 反向对齐（Inverse-Alignment）：将每个 $\mathbf{Y}_i$ 映射回原始图像坐标。等价操作为：根据 $\phi_i$ 对特征图进行反方向平移或插值，使所有像素级预测对齐到同一参考框架。
4. 聚合：对所有对齐后的预测图取均值，得到最终输出 $\hat{\mathbf{Y}} = \frac{1}{K}\sum_i \mathbf{Y}_i$。该方法称为Uniform Phase Marginalization，无需任何训练或参数调整。

计算成本：直接增加 $K$ 次前向推理，但实验表明 $K=4$ 在精度-成本间取得平衡，$K=8$ 几乎无额外收益，$K=16$ 延迟更高但精度不再提升。

与通用 TTA 的差异：常规 shift-based TTA 通常对输入图像施加少量随机或固定平移后聚合输出，但并未显式利用 patch grid 的对称性；Phase Marginalization 针对 ViT 的离散网格设计，采用结构化的相位集，且反向对齐步骤保证了坐标一致性。在 compute-matched 比较中（均使用 4 次 forward），该方法在 Cityscapes 上比最强通用移位 TTA 提高 +0.31 mIoU，显示出作为 ViT 密集预测诊断工具和鲁棒基线的独特价值。

实验

实验设计

作者在语义分割（Cityscapes）、深度估计和局部匹配（HPatches）三个密集预测任务上评估了 Uniform Phase Marginalization (K=4)。该方法在后处理阶段对图像施加 K 个结构化的 patch 网格相位偏移（dx, dy），每个相位执行一次前向推理，然后将密集输出反投影回原始图像坐标并聚合。基线包括标准单次前向（K=1）和计算匹配的通用基于平移的 TTA（4 次前向，多种平移模板）。控制实验确保所有方法使用相同的 ViT 骨干和 head，只在后处理上有别。此外通过 K ∈ {4, 8, 16} 的缩放实验探索精度-延迟权衡。

关键发现

• 在 Cityscapes 上，Uniform Phase Marginalization 相较匹配计算的最强通用 TTA 提高 +0.31 mIoU，证实 patch-grid 相位是可量化的 nuisance variable，且结构化边际化优于简单的平移增强。
• K=4 达到实用折衷：K=8 精度几乎不变，K=16 仅带来微小收益但延迟显著增加，表明对大多数场景 4 次相位已能捕获主要不确定性。
• 方法完全训练免，可作为即插即用的后处理基线，适用于任何 ViT 密集预测模型。

深度解读

该工作将 ViT 的 patch 分割视为引入空间相位噪声的过程，提出一种类比于经典平移 TTA 但更贴合 token 结构的边际化技术。与通用平移 TTA 的直接对比清晰显示，仅对输入图像做空间变换难以触达 patch 网格边界处的 token 证据变化，而结构化相位边际化通过显式探索网格对齐的偏移空间，更精准地融合了边界像素的多相位证据。然而 +0.31 mIoU 的提升幅度说明该增益仅在成本允许多次前向时值得；对于实时或低延迟场景，单次前向的 K=1 仍具竞争力。同时，该方法作为诊断工具，可揭示预训练 ViT 的相位敏感性，推动未来训练阶段引入相位不变性。

行业影响

落地场景

Phase Marginalization 主要受益于所有使用 Vision Transformers (ViT) 进行 密集预测任务 的产品与业务，包括但不限于：

• 自动驾驶 中的实时语义分割与深度估计，提升道路、车辆、行人边界的稳定性；
• 医学影像分析 中的病灶分割，减少因分块方式引入的预测抖动，提高诊断一致性；
• 增强现实 (AR) / 机器人 中的深度估计与局部特征匹配，改善空间定位的坐标稳定性；
• 视频理解与编辑 中的光流 / 深度估计，降低时序闪烁。
  任何已将 ViT 作为骨干网络，且输出需要像素级精确对齐的场景，均可直接应用。

商业价值

• 降本增效：方法作为 训练无关的后处理步骤，无需重新训练或收集新数据，即可在现有模型上获得精度提升（Cityscapes 上 mIoU +0.31），相当于用少量推理计算换取可观的性能增益，避免昂贵的模型重训或数据标注。
• 体验提升：消除 patch 相位引起的边界不稳定，使密集预测在语义边界、细小物体上更精准，从而提升自动驾驶安全性、医学辅助诊断可信度、AR 虚实融合真实感。
• 诊断与基线工具：该方法可作为 ViT 密集预测的简单诊断手段，快速评估现有管线对 patch 网格的敏感度，为后续架构改进提供量化参考。

与现有产品 / 工作流的接口

方法本身是一个 可插拔的后处理模块，集成方式非常轻量：

• 在推理阶段，对输入图像施加 K 种预定义的相位偏移（如 K=4），分别前向传播得到密集输出；
• 再将这些输出逆向对齐回原始图像坐标，通过聚合（如平均）得到最终预测。
  整个过程可直接嵌入到现有的 ONNX / TensorRT 推理流水线中，利用批处理并行化减少延迟。无需修改模型结构或训练配方，仅增加几倍推理开销，适合对延迟不极度敏感但精度要求高的场景。对于延迟敏感场景，可仅部署 K=4 作为生产中的 TTA 替代方案，其效果已优于通用几何变换 TTA。

具体落地 Use Case

1. 自动驾驶语义分割 pipeline
   某自动驾驶公司已部署 ViT-Large 作为分割主干，在弯道、遮挡边界处分割时常因 patch 偏移产生错误分类。引入 Uniform Phase Marginalization (K=4) 后，边界分割更清晰，在小目标（如交通标志、行人腿部）上减少漏检，且仅需在现有推理节点后增加 inverse_align + aggregate 模块，无需重新训练。

2. 医学影像肿瘤分割平台
   远程诊断平台使用 ViT 进行 CT/MRI 肿瘤分割，由于扫描断层厚度及预处理分块方式差异，分割边缘会出现相位相关的不一致。应用该方法后，不同分块起始点下的分割结果趋于一致，提升了跨机构诊断的标准化水平，且因无需调整原有训练好的模型，可直接在云端推理 API 中部署。

局限

• - **推理成本线性增长**：该方法需要 K 次前向传递（典型取值 K=4），导致推理耗时约为单次前向的 4 倍，对延迟敏感的应用（如自动驾驶实时分割）可能难以接受。论文将 K=4 定位为成本-精度折衷，但未对比单次前向下可用于缓解相位不稳定性的轻量级方案（如可学习偏移或连续位置编码）。随着 K 增大，精度提升边际递减（K=8 几乎不变，K=16 收益微小），计算开销却线性增加，进一步压缩了实用空间。
• - **任务泛化能力有限**：该方法仅验证于密集预测任务（语义分割、深度估计、局部匹配），依赖密集输出可反向对齐到原始图像坐标系的特性。对于图像分类、目标检测等非全图密集输出的 ViT 应用，无法直接套用。此外，方法将不稳定来源简化为 patch-grid 相位，未探讨位置编码、注意力混叠等因素的贡献，可能忽略了其它同样影响逐像素稳定性的结构偏差。
• - **与 TTA 的边界模糊且增益温和**：Uniform Phase Marginalization 本质是一种结构化测试时增强（TTA），通过固定相位偏移集合并聚合输出。在 Cityscapes 对照实验中，相较于最佳通用 TTA 策略仅取得 +0.31 mIoU，优势微弱。该方法无任何学习成分，不能针对不同模型或数据分布自适应调整相位集合，在复杂场景下可能被更灵活的 TTA（如学习型变换预测）反超。泛化能力受限于所选相位网格的结构先验。