Realiz3D: 通过域感知学习实现照片级真实的3D生成

TL;DR Realiz3D 通过域感知学习解耦视觉域与控制信号，利用残差适配器将合成渲染的控制能力迁移至真实图像域，实现逼真且 3D 一致的生成。

问题

问题背景

在 3D 一致图像生成 领域，核心目标是产出同时具备照片真实感与精确可操控性（视角、几何、材质）的图像。主流方案是使用合成 3D 资产渲染图微调预训练扩散模型，因为渲染图天然携带控制信号标注。然而，该方案引入的域间隙（渲染图 vs. 真实照片）会显著降低输出的真实感，制约了从合成控制到真实场景的迁移。

现有方法局限

• 微调后分布偏移：直接微调预训练生成器会使其过拟合合成渲染的视觉特征（如光照、纹理平淡），模型学会将控制信号的存在与合成外观错误关联。
• 适配器方案（如 ControlNet）未根本解耦域与控件：虽然通过旁路模块注入控制，但训练中仍使用合成数据混合，特征空间容易耦合，导致施加控制时合成痕迹残留。
• 数据混合的不彻底性：尝试混合真实与合成数据，但真实图像缺少精确 3D 标注，无法直接提供相同控制信号，致使模型在真实域中控制力减弱。

原作者指出：“模型学到控制信号与合成外观之间非预期的关联”是域间隙的根本原因。

问题难点与行业关注

• 标注稀缺：真实图像缺乏视角、几何等精确标注，而合成数据虽标注全但失真；难以同时获得强控制与真实感。
• 跨域迁移的工程复杂性：扩散模型不同层和去噪步对域差异敏感度各异，简单策略无法抑制合成特征对真实域的污染。
• 多模态应用刚性需求：AR/VR、影视制作、游戏资产生成等领域亟需 3D 一致且照片级真实的可控生成，任何域偏差都会导致内容不可用，因此工业界持续投入大量研究预算。

行业类比

类似自动驾驶感知模型训练中合成数据（sim）到真实场景（real）的迁移，若不解决 sim-to-real 域间隙，感知精度会急剧下降，生成式 3D 内容同样面临“控制迁移必损真实感”的瓶颈。

核心洞察

• **显式解耦域与控制信号**：Realiz3D 的核心观察是域差距源于模型将控制信号（如视角、几何）与合成渲染外观错误关联。通过引入轻量残差适配器作为域移位器，并显式输入 `domain` 协变量（real/synthetic），模型在不损害控制能力的前提下，可动态切换视觉域，避免控制信号被“污染”为合成风格。这与以往试图通过数据增强或对抗训练缩小域差距的方式不同，它从根本上分离了控制学习和外观生成，使生成器在应用控制时仍能保持预训练的真实感，对工程上需要同时保证多条件可控与照片级真实性的任务提供了简洁有效的解耦范式。
• **扩散模型的分层与时序域敏感性利用**：研究发现扩散模型中不同网络层和去噪时间步对域差距的敏感性差异显著：浅层特征更关注域风格，而深层与语义控制相关；早期去噪步骤主要决定域归属，后期则细化控制细节。基于此，Realiz3D 设计了层选择性微调（如仅更新特定 attention 层）和推理时的分段域移位策略，将域调整集中在敏感阶段，从而更高效地将控制信号迁移至真实域。这突破了以往采用统一微调或固定的域适应方案在效率与效果上的瓶颈，为调节大规模扩散模型的多条件生成行为提供了精细、低成本的工程控制手段。

方法

输入与背景

给定预训练的大规模文本到图像扩散模型(如 Stable Diffusion)、合成 3D 资产 的 multiview 渲染及其像素级控制信号(深度、法线、相机位姿等)，以及无标注的真实图像数据集。现有方法直接在这些渲染数据上微调生成器，会迫使模型将控制信号的出现与合成图像的视觉特征错误关联，导致生成结果偏离真实感。

核心模块：域转移器与两阶段训练

Realiz3D 引入轻量残差适配器(domain shifters)，嵌入扩散 U-Net 的各层。适配器接收域标签(real / synthetic)作为额外协变量，学习输出域相关的特征偏移，从而将视觉域与控制信号解耦。训练分为两阶段：

• 阶段 1：域解耦 – 冻结生成器主干，仅训练域转移器，用真实与合成图像混合数据使适配器掌握域变换能力。
• 阶段 2：表示绑定 (Representation Binding) – 解冻主干，基于对扩散模型中不同层与去噪步骤角色的洞察(例如，深层更关注纹理域，浅层更关注几何结构；早期步骤决定全局布局，后期步骤细化细节)进行选择性微调：仅更新与域相关的层/步骤，并通过特征空间中的对比损失对齐无配对真实与合成图像的表征，促使控制信号在真实域中仍能生效。

推理时域转移策略

采样时，在早期去噪步施加较强的域转移(偏向真实外观)，随后逐步减弱或关闭适配器，以保留由控制信号保证的 3D 一致性并提升最终真实感。这种动态调度无需额外重训练即可灵活调节逼真程度。

输出与工程差异

生成器可基于任意控制输入(如多视角相机参数)产出逼真且 3D 一致的图像，适用于文本到多视图生成、3D 纹理化等任务。与直接在合成数据上微调的方法相比，Realiz3D 仅增加极少量适配器参数，便彻底避免了域绑定问题，无需昂贵的真实图像控制标注，为可控生成模型的实际部署提供了高效且高质量的轻量方案。

实验

实验设计

Realiz3D 在两大任务上验证解耦控制信号与视觉域的有效性：多视图纹理生成 (multiview texturing) 与 文本到多视图生成 (text-to-multiview generation)。基础生成器为预训练于真实图像的大规模扩散模型（如 Stable Diffusion）。通过注入 control signals (几何、材质、视角) 并引入 residual adapters 作为域移位器，模型学习在合成渲染与真实照片两种域间切换。训练分两阶段：先固定 backbone，仅训练域移位器习得域属性；再联合微调骨干并绑定表示，强化控制迁移。推理时通过层感知与去噪步数选择的域偏移策略进一步减小域差距。

基线方法包括直接微调扩散模型于合成渲染 (vanilla fine-tuning) 以及仅使用控制信号的适配器方法。评估指标涵盖 FID (真实感)、CLIPScore (图文对齐)、多视图间 LPIPS (3D 一致性) 等。

关键发现

• 传统微调方法会将控制信号的出现与合成外观强关联，导致即使无控制时生成质量下降。Realiz3D 通过显式学习域协变量 domain covariate，成功打破这一伪相关，使模型在施加控制时仍能输出真实照片级图像。
• 域移位器设计为轻量级 LoRA-like adapters，仅引入少量参数便可有效解耦域信息，证明域属性可以从控制任务中分离并模块化学习。
• 对 diffusion layers 和 denoising timesteps 的分析揭示：浅层特征对域更敏感，后期去噪步骤决定全局外观。基于此的推理策略可进一步将真实域的控制转移能力提升约 15%~20%（视觉效果显著，定量趋势明显）。

与基线对比解读

与 naive fine-tuning 相比，Realiz3D 生成的图像在保持 3D 几何一致性的同时，纹理细节和光影更接近真实照片，而非游戏渲染感。相较于仅添加控制适配器的方法，Realiz3D 避免了控制适配器与合成域牢钉的问题，从而在 text-to-multiview 任务中，即便输入仅为文本，也能输出视角一致的且真实感较强的多视图图像。该框架的工程启示在于：当需要从合成数据学习控制能力并部署到真实场景时，可复用此轻量解耦架构，无需大量真实域配对数据，亦不必牺牲可控性。

行业影响

落地场景

Realiz3D 可服务于 3D 内容生成 与 虚拟资产制作 的核心环节，典型场景包括：

• 电商商品展示：从文字描述直接生成多视角一致的逼真商品图，替代人工建模与棚拍。
• 游戏/影视资产生成：为 3D 线框模型自动生成高质量纹理，加速原型迭代。
• AR/VR 虚拟试穿：结合人体 3D 模型，生成不同视角下的衣物真实渲染。
• 数字孪生与仿真：自动生成建筑/室内场景的多视图，用于视觉验证。

商业价值

• 降本：轻量级训练框架 仅需微调少量适配器，避免从零训练大模型，显著减少算力与数据采集成本。
• 增收：提升电商/广告中 3D 内容的转化率——视觉逼真度 直接关联用户购买决策，减少退货率。
• 体验升级：解耦 域控信号 后，生成图像在保留 3D 一致性的同时达到照片级真实感，消除"合成感"，增强沉浸感。

与现有产品/工作流的接口

• 预训练扩散模型兼容：以 Stable Diffusion 等通用图像生成器为基座，通过 Domain Shifters（小型残差适配器）实现即插即用。
• 训练阶段：在已有合成 3D 渲染-标注对上分两阶段训练——先学习域偏移器解耦视觉域，再微调骨干网络绑定表示，可嵌入现有 MLOps 流程。
• 推理阶段：Inference-time Domain Shifting 仅需调整指定层级的去噪步长，无需额外后处理，可直接对接现有多视图生成或纹理贴图管线。
• 工程启示：区别于常规 fine-tuning 会牺牲真实感，Realiz3D 的 层选训练策略 与 不同去噪步的域敏感度分析 提供了一种模块化思路——为不同下游任务定制不同的适配器组合，而不污染基础模型的真实域能力。

具体用例

1. 电商 3D 商品生成
   某平台希望让卖家上传一段文字描述即可获得产品 360° 环绕图。使用 Realiz3D 的 text-to-multiview 功能，可直接生成 4-8 个等角度距的视图，并确保材质、光影在不同视角下一致。相比传统手作，成本降低 80% 以上；相比普通 image-to-3D 方案，输出无需后处理即可达到可投产的视觉效果。

2. 游戏资产纹理自动生成
   独立游戏工作室在资源有限的条件下，从低保真 3D 扫描体生成高品质纹理。利用 Realiz3D 的 texturing from 3D inputs 能力，输入线框模型和粗糙法线图，即可输出光照解耦的逼真纹理贴图。该过程只需在预训练 Realiz3D 适配器上运行一次推理，与 Unity/Unreal 的材质导入流程无缝衔接。

局限

• - **依赖合成数据分布**：Realiz3D 的域移位器训练需要大量带标签的合成渲染与真实图像，合成数据的覆盖范围（材质、光照、形状）直接影响域解耦的质量。如果训练集中的合成资产多样性不足，模型可能在某些视角或材质上仍表现出域泄露，导致生成的真实图像出现伪影或风格不一致。此外，该方法对合成标注的精度敏感，几何或材质标注噪声可能被传递给生成器。
• - **推理时需域指示**：方法在推理时要求明确指定目标域（real 或 synthetic），这在某些应用（如通用文本到多视图）中可能需要额外的域选择逻辑或用户交互，增加了部署复杂度。如果用户无意中选择了错误的域标签，生成结果可能不符合预期。该设计也限制了完全无监督域适应的场景，模型不能自动判断当前应输出的视觉风格。
• - **训练流程较复杂**：该方法包含两阶段训练（域移位器训练 + 表示绑定微调），且需分析扩散模型不同层与去噪步长的角色来制定针对性策略。尽管最终适配器轻量，但训练管线较为繁琐，复现和调参成本较高，可能限制其被快速应用到新的生成任务或骨干模型上。同时，对层和步长的手工选择依赖先验知识，在不同扩散模型架构上可能需要重新适配。