RT-Splatting: 基于高斯泼溅的联合反射-透射建模

TL;DR 将 3D 高斯几何占据度与光学不透明度解耦，用一个高斯集合同时建模反射与透射，通过镜面感知梯度门控消除伪影，实现半透明镜面的实时高清渲染。

问题

问题背景

新视角合成（NVS）追求照片级真实感与实时效率，3D Gaussian Splatting (3DGS) 已成为主流基元表示。然而，在同时存在反射与透射的半透明高光表面（如玻璃、车挡风玻璃）上，高质量渲染仍属难题。

现有方法局限

• 标准 3DGS 使用单一 opacity 参数同时编码几何遮挡与光学贡献，无法解耦。为拟合高频反射，模型常在后表面生成错误高斯基元——“floater”。这些浮空物在训练视图外错误遮挡背景，导致透射区域模糊或出现黑色斑块。
• 基于 NeRF 的反射重建依赖多视图一致性或预计算环境图，面对动态视点下反射-透射强耦合场景时，常因优化歧义而失败。
• 分层表示方法将场景拆分为反射层与透射层分别建模，引入额外计算开销，且难以在单组基元中统一表面与体积特性。

技术挑战与重要性

• 几何-光学解耦：反射本质是表面效应（高频、视角依赖），透射是体积效应（需沿射线积分密度），在单组高斯基元中统一建模会引发严重优化冲突。
• 梯度误导：高光区域梯度在反向传播中会同时更新反射与透射分支，导致透射分支产生浮空伪影，而直接屏蔽又会丢失反射细节，需要精细的自适应控制。
• 该问题直接影响 AR/VR 中眼镜、玻璃幕墙等半透明物体的渲染真实感，也是数字孪生、影视虚拟制作的痛点。业界对实时、高保真、可编辑的反射-透射联合渲染需求日益迫切。

行业类比

如同自动驾驶仿真需要激光雷达点云同时捕捉车窗的镜面反射和车内结构，单一模型若无法解耦反射与透射，将导致感知失效或仿真失真。

核心洞察

• **几何占据与光学不透明度的解耦建模**： RT-Splatting 将每个高斯原语的物理占据（决定遮挡关系）与视觉不透明度（用于合成）显式分离，构建出统一的表面-体积场景表示。标准 3DGS 直接复用不透明度来近似遮挡，导致半透明镜面场景中反射模糊或传输被错误遮挡。本工作的因式分解使同一组高斯可同时作为表面（用于高频反射）和体积（用于清晰传输），从根本上解决了反射-传输建模的矛盾。
• **镜面感知梯度门控抑制浮动物**： 在半透明镜面区域联合优化反射和传输时，高光区域的梯度会错误引导传输分支生成漂浮的伪高斯，破坏背景清晰度。RT-Splatting 引入了 Specular-Aware Gradient Gating，根据局部镜面响应自适应抑制从高光区流向传输分支的误导梯度，从而在保持反射细节的同时消除浮动物。这一技巧简单有效，直接针对优化过程中的梯度歧义，优于以往通过复杂后处理或额外网络清理浮动物的方案。

方法

RT-Splatting 的核心流程遵循 多视角图像输入 → 几何-光学解耦 → 混合渲染 → 梯度门控优化 → 高保真多特性合成 的链条。

输入与初始化

从校准的多视角照片出发，沿用 3D Gaussian Splatting (3DGS) 的点云初始化与密度控制策略，生成一组带位置、协方差和颜色的 3D 高斯原语作为场景基元。

关键模块一：Occupancy-Opacity Factorization

传统 3DGS 用单一不透明度 α 同时表达几何遮挡与光学贡献，导致半透明镜面物体的反射与透射互相干扰。RT-Splatting 为每个高斯引入两个独立标量：

• 几何占用 (geometric occupancy) o ∈ [0,1]，代表该高斯在体积渲染中的透光率阻断程度，决定视线穿透能力；
• 光学不透明度 (optical opacity) α ∈ [0,1]，代表该高斯在表面反射路径中的亮度贡献。 二者解耦后，同一组高斯既能作为体积采样粒子保留清晰的透射，又可被当作表面点时进行反射着色，形成统一的 表面-体积联合场景表示。

关键模块二：Hybrid Renderer (反射-透射混合渲染)

渲染器分两条通路：

• 体积通路：按相机视线对所有高斯排序，用几何占用 o 进行体积积分，累加背景透射光，确保背景不被错误遮挡；
• 反射通路：从视线与高斯的交点出发，计算镜面反射方向，在该方向上采样环境或显式建模的反射光，再将反射分量与透射分量按能量守恒混合。 这种设计使同一组原语同时捕获高频反射高光和清晰透射，避免 3DGS 中常见的反射模糊或透射被遮挡的现象。

关键模块三：Specular-Aware Gradient Gating

同时优化反射与透射目标会引入歧义：高镜面区域可能反向误导透射分支的梯度，生成不真实的“漂浮物”。RT-Splatting 提出镜面感知梯度门控，在训练时根据每个像素的镜面响应强度动态抑制从反射损失流向透射分支的梯度，阻止伪影形成，显著减少悬浮杂点。

输出与应用

网络输出可直接实时渲染任意新视角，且因占用-不透明度解耦，天然支持灵活的场景编辑（如移除反射、调整透光度）。修炼习得与同类方法的差异点：RT-Splatting 率先将几何占用与光学不透明度显式因子分解，通过梯度门控实现反射-透射联合高质量重建，而无需依赖多套原语或复杂光线追踪，在保持实时性的同时将半透明镜面物体的渲染保真度推向新水平。

实验

实验设计

作者构建了包含半透明镜面物体的挑战性场景（如玻璃、水面等），以评估同时处理反射与透射的能力。定性对比基线包括 vanilla 3DGS、针对反射或透射的专项重建方法。定量评估以全参考图像质量指标（PSNR/SSIM/LPIPS）为主，结合消融实验验证各模块贡献。

关键发现

• 反射保真度大幅提升：表面分支成功捕获高频高光，解决了 3DGS 在镜面区域的模糊与虚化问题。
• 透射清晰度维持：体渲染分支保留了背景的可见性，避免因反射优化引入的遮挡漂浮物（floaters）。
• 梯度门控有效性：Specular-Aware Gradient Gating 有效抑制了强镜面区域对透射分支的误导梯度，显著减少漂浮 artifact。
• 统一表示优势：单组高斯原语的 occupancy-opacity 分解使场景编辑（如独立调整反射强度、透射清晰度）变得自然且实时。

与基线对比解读

相较于 vanilla 3DGS 通过“浮动物”伪造反射的机制，RT-Splatting 的物理分解从根源上避免了伪影与透射遮挡，在视角变化剧烈时仍保持结构一致性。与专门处理反射或透射的方法相比，该方法无需多阶段训练或后处理，实现了统一的端到端优化，且推理保持实时（>30 fps），对于需要交互式预览的 AR/VR 或数字孪生应用具有工程优势。消融实验进一步表明，移除任意组件均会导致反射模糊或透射污染，验证了设计的协同必要性。

行业影响

落地场景

RT-Splatting 可直接提升各类需要处理半透明镜面表面的实时渲染与重建应用，典型场景包括：

• 增强现实 (AR) / 虚拟现实 (VR)：眼镜、车窗、玻璃幕墙等同时存在反射与透射的物体，需要高保真虚实融合。
• 电影与游戏视效：角色佩戴的眼镜、头盔面罩、水面/冰面与玻璃制品，其反射与透射的物理正确性直接影响画面真实感。
• 电商 3D 商品展示：太阳镜、玻璃器皿、珠宝、反光电子产品外壳，用户可交互旋转查看，反射与透射的缺陷会严重破坏购买信心。
• 自动驾驶仿真：传感器看到的车窗反光与内部透射，需真实建模以训练感知模型。

商业价值

• 降本：传统高精度反射/透射建模依赖艺术家手工调整或昂贵的光线追踪离线渲染，RT-Splatting 可实现实时渲染且质量接近离线，大幅缩短内容生产周期，减少人工修正成本。
• 增收：更真实的商品 3D 展示能提升用户停留时间与转化率；在电影、游戏行业中，快速迭代的高质量预览能加速项目交付。
• 体验提升：实时交互中玻璃、液体、镜面等材质不再是渲染痛点，用户沉浸感与信任度显著增强。

与现有产品/工作流的接口

RT-Splatting 基于 3D Gaussian Splatting (3DGS) 框架，与现有渲染栈兼容性强：

• 可直接作为 Nerfstudio 或 gsplat 等流行训练框架的后端模型，通过插件形式集成。
• 其 occupancy-opacity factorization 和混合渲染器可封装为模块，供 Unreal Engine 或 Unity 等游戏引擎调用，替换现有素材的透明/反射材质部分。
• 输出为标准点云/高斯表示，易于与现有 3D 编辑工具（如 Blender）对接，实现场景编辑和后期调整。

具体落地 use case

1. 虚拟试戴眼镜（电商）：用户上传自拍，实时生成佩戴不同眼镜的 3D 视图。传统方法难以同时准确渲染镜片反光和眼睛透射，导致试戴效果虚假。RT-Splatting 通过解耦几何占据与光学透明度，可一次性扫描重建眼镜模型，实时渲染出清晰的镜后眼睛和高频镜面反射，大幅提升试戴体验与购买决策信心。
2. 汽车在线配置器：客户可旋转视角查看车窗、天窗、镀铬装饰条等半透明/镜面部件，在不同环境光下反射与透射应动态变化。RT-Splatting 支持实时调整场景光照，无需每次重渲染，可显著减少后台渲染资源，同时保持视觉逼真度，降低主机或云端算力成本。

局限

• 论文方法假设场景中的镜面反射和透射可由单一的高斯原语集统一表示，对于复杂的光线散射（如次表面散射、多重反射）或非镜面透射（如磨砂玻璃）可能失效。实验中场景主要为玻璃和镜面组合，未展示极端条件下的泛化能力。
• 占用-不透明度因子分解虽然有效地分离了几何和光学属性，但在优化过程中引入额外自由度，可能增加训练不稳定性。作者虽提出镜面感知梯度门控缓解浮点，但未完全消除对超参数的依赖，不同场景可能需要人工调整门控阈值。
• 渲染管道虽为实时设计，但混合表面-体积渲染比标准 3DGS 计算负担更大，在移动端或高分辨率需求下可能无法保持实时性能。此外，编辑功能虽被提及为应用，但缺乏系统评估，实际可操作性有待验证。