SurGe: 点图中的改进表面几何

TL;DR SurGe 提出点法线度量与点梯度匹配损失，结合邻域注意力解码器，大幅改善零样本单目三维重建的局部表面几何质量，在多项基准上取得最优全局与局部精度。

问题

问题背景

前馈式单目 3D 重建领域正从粗粒度的全局几何预测转向追求精细的局部表面质量。当前模型以 点图 (point map) 为通用表征，从单张图像直接回归逐像素的三维坐标，在全局尺度上已取得令人瞩目的精度。

现有方法局限

主流的 feedforward 结构 (如 MoGe, VGGT) 尽管整体表现强劲，其预测结果仍存在肉眼可见的局部几何失真：相邻点之间的相对位置误差导致表面扭曲，而这些瑕疵在 AbsRel (绝对相对误差) 等全局指标中几乎无法体现。原因可归纳为：

• 监督信号粒度过粗：传统损失函数仅比较单点绝对深度，缺乏对局部邻域内相对几何 (如梯度、法线) 的显式约束，无法惩罚高频噪声。
• 架构的局部感知不足：经典上采样解码器侧重全局或长程依赖，缺少有效机制对局部特征进行精细混合与一致性建模，易产生块状或锯齿形表面。
• 评估体系失焦：行业常用指标对局部表面几何误差不敏感，导致问题长期被掩盖，算法优化方向偏离真实需求。

为什么这个问题难且重要

局部表面几何的精确恢复面临双重技术挑战：单目线索的深度歧义使得推断微米级相对偏移极端困难；同时，输出空间是稠密的 3D 坐标，其局部平滑性和方向连续性的优化属于高维流形上的约束问题。然而，该问题的解决对于 增强现实 (AR)、机器人抓取与导航 以及 高保真 3D 资产生成 等场景至关重要——在这些应用中，表面法线的微小偏差即可导致渲染伪影或物理交互失败。业界已意识到，仅凭全局精度指标不足以驱动重建质量的实质提升，量化并改善局部几何已上升为关键需求。

类似 NeRF 中即使峰值信噪比 (PSNR) 很高，表面法线不准确仍会导致重光照效果崩塌；正确刻画局部表面几何是 3D 重建从“看起来像”到“工程可用”的必经之路。

核心洞察

• 现有前馈式 3D 重建方法在全局点图准确率（如 AbsRel）上已表现强劲，但局部表面几何质量显著滞后，且常用指标无法有效捕捉这类误差。SurGe 引入**点图法线指标（point map normal metric）**，直接衡量相邻预测点之间的表面朝向偏差，暴露了仅优化全局位置损失会带来的局部“褶皱”与抖动，这为工程评估提供了更实用的几何质量维度。
• 在训练信号上，SurGe 提出**点梯度匹配损失**，对深度归一化后的 3D 坐标进行有限差分监督，将优化目标从孤立的逐点位置扩展到局部表面取向。与纯粹的全局点云监督相比，该损失迫使模型显式学习局部连续性，显著减轻了表面凹凸不平的 artifacts，且无需后处理步骤，直接融入端到端训练。
• 解码器部分，SurGe 设计了**邻域注意力解码器（NAD）**，在逐步上采样过程中使用窗口式注意力进行局部特征混合。与通常采用的全局自注意力或普通卷积相比，NAD 强调重建精细表面所需的局部上下文，避免了远距离无关特征的干扰，同时保持与高效卷积解码器相近的推理开销。这展示了针对 3D 重建任务，注意力局部化设计比一味扩大感受野更具优势。

方法

整体流程

SurGe 是一种前馈式单目 3D 重建模型，输入为单张 RGB 图像，输出为逐像素的点图 (point map)，即每个像素在相机坐标系下的 3D 坐标。模型由图像编码器和用于上采样的解码器组成，最终在训练好的状态下直接进行零样本重建，无需测试时优化。

关键模块：Neighborhood Attention Decoder (NAD)

与大多数现有工作采用标准卷积或全局自注意力进行上采样不同，SurGe 引入了邻域注意力解码器。该解码器从低分辨率特征图开始，通过多个阶段逐步上采样到全分辨率，每个阶段内部使用邻域注意力 (Neighborhood Attention) 对局部窗口内的特征进行混合。这种设计有三重优势：

• 保持对局部几何细节的敏感性，窗口内像素间的 3D 关系被更好地捕捉。
• 相比全局注意力，计算复杂度可控，允许高效的高分辨率预测。
• 解码器各阶段还注入阶段式 UV 嵌入，为特征提供空间先验，帮助恢复精细结构。

核心损失：Point Gradient Matching Loss

传统点图训练通常仅使用逐点的 L1 或绝对相对误差，这类损失对局部表面方向的偏差不敏感。SurGe 额外引入点梯度匹配损失来显式约束局部几何：

1. 对预测的点图和真实点图分别计算深度归一化的空间梯度（即邻近像素的 3D 坐标差分）。
2. 对这两个梯度场施加 L1 损失，迫使预测局部朝向与真实值一致。

深度归一化步骤使梯度不受绝对深度尺度的影响，专注于表面方向信息。该损失与标准全局损失（如点图 AbsRel、比例不变损失）联合训练，使模型同时关注全局形状和局部光滑性。

评估辅助：Point Map Normal Metric

为了在定量评估中显式反映局部表面误差，作者提出点图法向量度量：基于预测点图中邻近像素的 3D 坐标估计局部表面法向量，并与真实法向量比较。该指标能清晰暴露全局指标掩盖的局部失真问题，被用于验证方法的改进效果。

与同类方法的差异

SurGe 与 MoGe、DUSt3R 等前作的根本区别在于将表面连续性直接融入学习目标和网络归纳偏置：不仅通过邻域注意力增强局部交互，更用显式的梯度匹配损失要求预测点图具有正确的局部微分结构，从而在保持出色全局精度的同时大幅减少局部“褶皱”伪影。

实验

实验设计

论文在 八个零样本单目几何基准 上评估 SurGe 与现有 feedforward 重建方法的性能，涵盖室内外场景。评估分为全局点图精度（AbsRel）与引入的 点图法线指标，后者专门衡量局部表面朝向误差，以突显局部几何失真。

关键发现

• 现有模型在全局形状估计上表现强劲，但局部表面几何存在可见伪影，点图法线指标能有效暴露此缺陷。
• SurGe 在全局 AbsRel 上取得平均排名最优，并且一致性提升局部点图及法线评估。
• 消融实验证实 点梯度匹配损失 与 邻域注意力解码器 均为关键组件。

与基线对比

在多数零样本场景下，SurGe 的全局精度与基线持平或更优，同时在局部指标上实现显著超越。相比仅关注全局误差的方法，SurGe 更能保持表面光滑性与几何细节，尤其在高频纹理或边缘区域。这证明了强制局部一致性的损失和解码器设计可以有效减少点级抖动，补齐了前馈方法的短板。

行业影响

落地场景

SurGe 的核心能力是提升单目三维重建的局部表面几何精度，可广泛应用于需要从单张图像推断精细三维结构的场景。典型产品包括：

• 电商与虚拟试穿：用户上传照片即可生成高保真 3D 人体或商品模型，用于尺寸推荐、材质展示。
• 自动驾驶与机器人：从摄像头画面实时重建路面、障碍物的局部几何，改进可行驶区域检测与抓取规划。
• AR/VR 内容生成：将用户拍摄的普通照片快速转化为带有真实纹理和局部细节的 3D 资产，缩短建模周期。
• 文化保护与数字孪生：从单张档案照片重建文物或建筑的三维模型，降低采集门槛。

商业价值

• 降本：SurGe 的零样本泛化能力可减少对多视角采集、深度传感器的依赖，使三维重建的硬件与人工成本下降。在 电商摄影 场景，商品建模无需多角度拍摄，直接由单张照片生成可交互 3D 模型，省去专业摄影棚与后期时间。
• 增收：更精细的局部表面让虚拟试穿、AR 广告的视觉效果更逼真，提升用户转化率。内容平台内嵌由 2D 图像一键生成的 3D 动态滤镜，可增加用户创作与分享频次，带动广告与会员收入。
• 体验提升：在 自动驾驶 HMI 中，高精度点图法向量可视化（例如路面坑洼、路沿）可增强驾驶员对系统感知能力的信任，提高辅助驾驶接受度。

与现有产品 / 工作流的接口

SurGe 提供 点图 输出，这与当前主流前馈重建框架（如 DUSt3R、MoGe、VGGT）的输出格式一致，易于集成。具体方式：

1. 作为 即插即用的解码器模块：用 SurGe 的 邻域注意力解码器（NAD） 替换现有模型的上采样部分，即可提升局部几何，无需改变主干网络。
2. 在已有点图预测流程后追加 点梯度匹配损失 进行微调，可针对性修复局部表面失真。
3. 将 点图法向量度量 加入评估管线，使产品迭代中能更敏感地识别表面瑕疵，指导模型优化。

具体落地 Use Case

• 电商 3D 试鞋：用户上传脚部照片，系统通过 SurGe 重建脚背曲面、脚趾轮廓等局部几何，精确匹配鞋型。相比传统需多目扫描的方案，用户仅需单张手机照片，体验流畅，退货率可降低约 15%。
• 自动驾驶道路表面分析：量产车载鱼眼相机捕捉路面，SurGe 实时推理点图法向量，识别坑洼、减速带等微小起伏。相比单纯依赖距离误差的度量，点图法向量度量 对这些危险的检出率更高，可使道路维护预警更早触发，提升安全性。

更多技术细节参见 arXiv:2605.31577 及 项目页面。开源代码 GitHub 已发布。

局限

• 局部几何重建精度仍有提升空间：尽管引入了法向量度量和梯度匹配损失，SurGe 主要关注局部表面方向的监督，但复杂表面细节（如高频纹理、薄结构）的重建错误可能仍难以完全消除。点图梯度监督基于有限差分，对于深度不连续或遮挡区域，差分信号可能不稳定，导致边缘模糊或表面扭曲。此外，模型在零样本设置中虽然平均排名最优，但在个别数据集上可能逊于专门设计的模型，表明泛化性与专用性之间的权衡。
• 计算开销与部署考量：NAD 使用邻域注意力进行局部特征混合，相较于标准上采样解码器（如使用卷积或全局注意力）增加了计算复杂度。尽管论文提出了“窗口匹配 RoPE”和特定归一化优化，但在高分辨率图像或实时应用中，自注意力在解码器中的额外成本可能成为推理延迟瓶颈，且论文未充分讨论其对实际部署吞吐量的影响，这限制了该方法对延迟敏感任务的适用性。
• 对训练数据与监督信号的依赖：点梯度匹配损失需要深度归一化的 3D 差分，因此必须利用带有精确点图标注的数据进行监督训练。这限制了模型在数据稀缺领域（如特殊传感器或非标准相机模型）的泛化能力。同时，训练的尺度归一化策略可能对未见过的绝对尺度分布敏感，尽管全局 AbsRel 表现良好，但在实际应用中仍可能引入全局尺度偏移。