Projection Pursuit CPCANet for Domain Generalization

TL;DR PP-CPCANet 通过无协方差的 Stiefel 流形优化和对称破缺 PP 离散度，解决了小批量下秩不足问题，实现稳定的域泛化 SOTA。

问题

问题背景

Domain Generalization (DG) 的核心挑战是学习能够跨未知域泛化的特征表示。当前，几何对齐类方法试图从多个源域中提取域不变结构，其中 CPCANet 通过批内 Common Principal Component Analysis (CPCA) 显式地提取公共主成分 (CPCs)，在理论上有较好的可解释性。

现有方法局限

CPCANet 的关键瓶颈在于批量协方差估计的秩亏问题。在标准小批量训练中，特征维度（通常为数百到数千）经常超过批量大小，导致样本协方差矩阵秩不足。这带来三个直接后果：

• CPC 子空间无法可靠恢复：秩亏使特征分解失效，可提取的公共成分数量受限。
• 梯度信号稀疏化：只有少数方向能得到有效优化，其余方向被噪声主导，影响收敛稳定性。
• 高维特征下的算法失效：随着骨干网络加深，特征维度上升，问题急剧恶化，使得 CPCA 难以应用于现代架构。

这些局限本质上源于 CPCA 对显式协方差计算的依赖，一种covariance-free 的替代方案是迫切需要的。

为什么这个问题既难又重要

在 DG 场景中，域偏移往往表现为低阶统计量（如协方差结构）的差异，因此对齐二阶统计量是有效的域不变策略。但小样本问题广泛存在于实际训练设置中（硬件限制、大数据集的高效训练需求），使得「批量估计的可靠性」和「高维特征的表达能力」成为一对矛盾。若不能解决该矛盾，几何对齐方法的工程落地将严重受阻。业界对稳定、可扩展的 DG 算法有强烈需求，尤其是那些不依赖特大批量即可提取鲁棒公共结构的方案。

行业类比

这一问题与联邦学习中本地客户端数据量不足导致的协方差估计不可靠高度相似——两者都迫使算法设计从「依赖显式二阶统计」转向「无协方差」或「稳健统计」的路线，以应对分布式或小批量场景下的统计脆弱性。

核心洞察

• **流形约束下的无协方差正交基学习** 突破小批量秩亏瓶颈。传统 CPCANet 依赖批协方差估计，当特征维数大于批量大小时协方差矩阵奇异，限制共同子空间提取。本工作在 Stiefel 流形上直接参数化全局正交基，通过 Cayley 变换将约束优化转化为无约束更新，与网络端到端联合学习。脱离协方差估计，根本上消除小样本估计的秩亏问题，使高维特征下的域不变结构提取变为可能。
• **对称破缺的中位数投影寻踪** 提供稠密鲁棒的优化信号。不同于最大化方差，所提出的分散目标以分离中位数度量投影数据的散布，能抵抗离群值且对尾部不敏感。通过打破对称性，避免平凡解，确保提取的共同主成分具有判别性和稳定性。在最小批次下，该稳健统计量提供更可靠的梯度信号，支撑训练平稳性，缓解了传统 CPCA 对小批量噪声的脆弱性。

方法

输入与特征提取

PP-CPCANet 以多源域图像作为输入，经过共享的卷积骨干网络（如 ResNet）提取特征。每个 batch 包含来自不同域的数据，但不再依赖 batch 内协方差估计，避免了小批量导致的秩缺失问题。

核心模块：Stiefel 流形上的全局正交投影

模型维护一组可学习的全局正交基，定义在 Stiefel 流形上。通过 Cayley 变换 参数化，前向时计算投影 W = (I + A)^{-1}(I - A)（其中 A 为反对称参数），确保 W 严格正交，直接将特征投影至公共子空间。该基与骨干网络参数联合端到端优化，无需额外协方差估计步骤。

对称破缺的投影追踪散度目标

为提取公共主成分（CPCs），引入一种鲁棒的投影追踪损失：

• 对每个域分别计算投影后各分量的 中位数绝对偏差（MAD） 或其他鲁棒散度；
• 采用 去中位数（detached-median） 操作，阻止中位数本身回传梯度，只让偏离中位数的部分提供信号，避免优化陷入局部坍塌；
• 通过对称破缺设计，使各 CPC 方向捕获不同的变异模式，避免冗余。 该目标均匀地激励所有 CPC 维度，产生稠密且鲁棒的优化信号，训练无需 covariance 计算。

级联架构与域引导调制

模型采用 渐进瓶颈级联 结构：多个 CPC 模块逐层堆叠，每层输出更低维的公共特征。同时加入 域引导特征调制，利用域标签或域原型对特征进行条件缩放/偏移，辅助分离域特定信息与域不变成分。

训练与推理

最终损失 = 任务损失（如交叉熵）+ 投影追踪散度损失。推理时只保留投影至公共子空间的特征进行分类，丢弃域相关分支。

与 CPCANet 的核心差异：CPCANet 每 batch 计算共享协方差矩阵并求 CPC，受小批量秩缺陷限制；PP-CPCANet 用协方差自由的流形优化全局学习正交基，并借助鲁棒散度稳定提取多维度 CPC，训练更稳定且避免秩不足。

实验

实验在四个领域泛化（Domain Generalization）基准上展开，对比基线包括原始 CPCANet 及多种几何对齐方法。核心设计是级联渐进瓶颈架构与域引导特征调制模块：特征先经 Stiefel 流形上的 Cayley 变换迭代出全局正交基，再通过对称破破裂的 detached-median 投影追踪散度目标提取公共主成分。训练目标融合分类损失与投影追踪损失，端到端联合优化。

关键发现：PP-CPCANet 在所有基准上达到 SOTA 准确率，同时训练过程稳定性显著优于依赖批内协方差估计的 CPCANet。消融实验表明，投影追踪目标提供的密集、鲁棒优化信号是性能提升的核心驱动；级联架构进一步强化了域不变特征的抽取。

与基线对比的深度解读：CPCANet 因小批量导致协方差矩阵秩缺失，可恢复的公共子空间受限。PP-CPCANet 通过无协方差的流形优化绕过这一瓶颈，直接从数据投影的离差中提取不变成分。这种设计不仅避免了奇异值分解的不稳定，还使梯度信号在所有样本上密集回传，因此面对领域漂移时泛化更可靠。

行业影响

落地场景

PP-CPCANet 提供的域泛化能力可广泛应用于以下产品与业务线：

• 自动驾驶感知：利用多源传感器（不同天气、光照、城市）训练统一模型，提升对新环境的适配性，减少重采集与标注成本。
• 医疗影像 AI：跨医院、跨设备（MRI/CT 机型差异）训练分割或诊断模型，无需目标医院数据即可上线，加速 SaaS 部署。
• 工业视觉质检：不同产线、批次、光照下的缺陷检测模型可一次训练，零样本切换产线，减少频繁微调。

商业价值

• 降本：相比传统 DG 方法，PP-CPCANet 避免了小批量下协方差矩阵的秩缺失问题，训练更稳定，所需实验迭代次数减少；无需逐域适配，节省数据采集与标注开销。
• 增收：提升模型在未见域上的准确率（SOTA 性能），使产品能直接进入新市场或新客户环境，缩短签约到交付周期。
• 体验提升：用户感受到跨场景的稳定性能，减少因环境变化导致的模型失效投诉，增强信任。

与现有产品 / 工作流的接口

• 框架兼容：方法基于 Cayley 变换 在 Stiefel 流形 上优化，可直接作为 PyTorch 或 TensorFlow 的一个插件模块，插入现有 CNN/Transformer 骨干网络的特征提取层后。
• 训练流程：仅需替换原有领域对齐损失（如 CORAL、MMD）为提出的 对称破缺离中位数 PP 分散度目标，保持数据加载和评估管线不变。
• 部署冲突：推理时无需额外计算，模型一旦训练完成即固定正交基，与标准 ONNX/TensorRT 导出流程无缝衔接。

具体落地用例

1. 跨境电商商品图像合规检测：商品在不同拍摄背景、光线、国家法规差下，需检测违禁品或不合规元素。PP-CPCANet 仅用少数已知域训练，即可泛化到新的拍摄环境和区域要求，模型交付后无需客户提供大量标注，直接上线使用，显著降低商务拓展的技术门槛。
2. 多语言 OCR 文档识别服务：面向多国家企业，文档扫描件在风格、噪声、扭曲上千差万别。使用本方法训练字符识别主干，可在新语言或新模板上直接获得高字符准确率，减少每新增语言时的人工调参和重训成本，加速全球化产品迭代。

局限

• 该方法在 Stiefel 流形上学习全局正交基，并通过 Cayley 变换与网络参数联合优化，虽然规避了协方差估计的秩不足问题，但引入了额外的计算开销。高维特征下，流形上的优化迭代可能成为训练瓶颈，且对称性破缺的去中位数 PP 散度目标涉及数据驱动的统计量（如中位数），其对不同数据分布的鲁棒性尚未充分验证。论文未报告训练时间与参数量变化，工程部署的实用性存疑。
• 实验仅在四个经典 DG 基准（PACS、VLCS、Office-Home、TerraIncognita）上验证，这些数据集规模有限，且域偏移类型相对简单。未在大规模、更贴近真实场景的数据集（如 DomainNet 完整版或 WILDS）上测试，也未比较最新的非几何对齐方法（如基于大型预训练模型的 prompt adaptation）。方法的泛化边界和计算可扩展性缺乏系统评估。