通过分解视觉代理的直接3D感知对象插入

TL;DR DIRECT 通过分解外观、几何与上下文引导，首次实现可交互操控物体 3D 姿态的高保真插入，摆脱了仅 2D 修复的限制。

问题

问题背景

图像合成领域长期关注将参考对象无缝植入目标场景的任务，尤其在扩散模型（Diffusion Models）兴起后，基于 reference-guided inpainting 的方法在视觉保真度和光照融合上取得显著进展。然而，工业界对可交互、空间可控的对象插入需求日益迫切，现有研究主要停留在 2D 平面操作，缺乏对 3D 姿态的显式建模。

现有方法的局限

• 2D inpainting 范式缺少几何控制：主流方法（如 Paint-by-Example、AnyDoor）仅利用参考图的视觉特征与背景上下文进行区域修复，没有几何先验来约束对象的摆放视角，导致生成结果只能复制参考图的原始朝向，无法响应用户的姿态调整意图。
• 多条件融合易导致特征纠缠：部分工作尝试将姿态信息以关键点或轮廓形式注入，但与外观特征简单拼接或叠加会破坏原始身份细节，难以同时保持物体精细纹理和几何一致性。
• 训练数据多样性不足：现有数据集多为固定视角抓取的前景物体，缺少同一物体在不同视角、光照和场景下的配对，限制了模型对姿态变化的泛化能力。

技术挑战与重要性

该问题的核心难点在于解耦式多条件注入：如何在单一生成主干中同时满足外观保真、几何可控与环境适应三个相互制约的目标。若仅将参考图编码为全局 Token，姿态控制信号极易被稀释；而粗暴的早融合（early fusion）又会打破预训练扩散模型的生成先验。从工程价值看，可交互的 3D 感知插入是 AR 预览、虚拟拍摄、电商展示等应用的根基。业界迫切需要一种既能保持参考物体精细纹理，又能让设计师实时调整位姿的插入框架，以减少后期手工修正成本。

行业类比

如同 NeRF-based 场景编辑中，插入新物体需同时维护场景隐式表示与物体显式刚体变换：任何只依赖图像修复而忽略空间变换的工作，都难以在自由视点下保持几何一致性。

核心洞察

• 将 2D 对象插入重新定义为可交互的 3D 姿态操控任务。以往扩散模型将插入视为 2D 修补，无法指定对象的朝向、位置等三维属性，难以用于 AR/VR 等对空间一致要求高的场景。DIRECT 引入用户可调整的 3D 代理，使合成过程受显式几何约束，首次在保持身份与环境协调的同时实现姿态可控，打开了从‘填充背景区域’到‘放置三维物体’的范式升级。
• 解耦的三元条件注入避免了多模态特征的相互干扰。多数模型将参考外观、背景上下文与额外控制信号混合输入，容易导致身份泄露或姿态不准确。DIRECT 将条件分解为外观引导、几何引导、上下文引导，并通过独立通路注入，防止了特征纠缠。这种设计使得模型能同时忠实地保留对象外观、对齐指定姿态并适应目标场景，在定性与定量实验中均显著优于简单融合的策略。
• 自动化的训练数据构造管道解决高质量配对数据稀缺的瓶颈。对象插入任务通常依赖人工标注或合成数据，但场景、对象和姿态的组合多样性不足。DIRECT 提出自动化流程从多源素材生成丰富的三元组样本，涵盖复杂环境与视角变化，大幅提升了训练数据的多样性和模型泛化能力。该方法本身可迁移至其他需要配对数据的生成式编辑任务，具备工程可复用性。

方法

总体框架

DIRECT 将可控对象插入建模为 分解式条件引导 的扩散生成过程。输入包含三部分：1) 参考对象图像 (I_ref)，2) 目标背景图像 (I_bg) 与插入区域的二值遮罩 (M)，3) 用户通过交互式 3D proxy 指定的目标姿态。

条件分解与注入通路

框架的核心是将插入条件解耦为三个互补的引导流，并通过独立路径注入扩散模型（基于 Stable Diffusion 或 FLUX 骨干），避免特征纠缠。

• 外观引导 (Appearance Guidance)：从 I_ref 中提取身份与细节特征，通常采用 CLIP 视觉编码器或类似 DINOv2 的预训练模型，再通过交叉注意力注入去噪 UNet 的指定层，确保生成对象保留参考目标的纹理、形状等视觉特性。
• 几何引导 (Geometry Guidance)：将用户调整后的 3D proxy 渲染为几何 cue，如深度图、法线图或轮廓图，经轻量编码器处理后作为空间条件（例如与潜变量拼接或通过 ControlNet-like 分支）注入，显式约束生成对象的 3D 朝向和位置。
• 上下文引导 (Context Guidance)：利用 I_bg 和 M 的背景区域特征，通过上下文注意力或特征调制模块，使插入对象与目标场景在光照、色调、阴影等方面和谐一致。

三种引导在特征空间中独立作用，避免了单一条件耦合导致的控制冲突。训练时采用 自动化数据构建流水线 生成多样化的 (参考对象, 背景, 姿态) 三元组，例如通过随机旋转合成对象并复合到不同背景，增强几何与外观的泛化性。

输出

扩散模型在三种引导的联合调控下逐区域去噪，最终生成包含参考对象的合成图像，对象严格遵循用户指定的 3D 姿态并自然融入背景。

与同类方法的差异

相比主流方法将对象插入简化为 2D inpainting 且无法操控姿态，DIRECT 通过分解式引导首次实现了交互式 3D 姿态控制与高保真外观保持的统一。

实验

实验设计：DIRECT通过自动化数据构建管道生成训练数据，背景源于多样性场景图像库，前景对象通过多视角渲染并与3D代理对齐。评估围绕几何可控性与视觉质量，对比基线包括基于扩散的2D插入方法（如Paint-by-Example、ObjectStitch等），定量采用FID、LPIPS及用户偏好研究，并专门测试姿态变化下的稳定性。

关键发现：DIRECT在用户指定的3D姿态下准确复现对象外观，同时实现了光照、阴影等与环境的高度融合。分解式注入有效防止了特征纠缠，消融实验表明外观、几何、上下文三条路径缺一不可。定性结果中，DIRECT能处理复杂场景（如遮挡、半透明物体），且推理延迟与基线相当。

与基线对比：传统2D插入方法无法显式控制姿态，更改角度时只能通过重新生成，且一致性差；DIRECT首次实现交互式3D姿态操控下的插入，保持了外观保真度和场景适配性。与仅靠文本或2D参照点的方法相比，3D代理的引入大幅减轻了用户调整负担，并在几何准确性上取得了质的提升。

行业影响

落地场景

DIRECT 将 2D 扩散模型的对象插入能力拓展到 3D 位姿可控，可无缝融入以下实际业务流：

• 电商视觉生成：商家仅需一张产品白底图，运营人员即可通过拖拽 3D 代理模型，快速生成多角度、多场景的商品展示图，替代高成本的重复拍摄与后期。
• 社交/内容平台：创作者上传参考物件（如虚拟潮玩、NFT）后，在手机端交互式调整朝向与位置，生成与真实背景融合的视觉内容，提升 UGC 丰富度。
• 影视/游戏预演：美术人员将 3D 资产草图拖入实景画面，通过位姿调整快速评估视觉效果，加速概念设计迭代。
• 工业仿真：将产品模型以任意位姿插入工厂/车间实拍图，用于布局验证或培训材料生成。

商业价值

• 降本：将单产品多场景素材的制作转为一次建模+泛化生成，大幅减少实物拍摄、布景、后期的人力物力。
• 增收：电商场景下，消费者通过 AR 预览商品在自家环境中的位姿效果，可显著提升转化率；内容平台可借此提供增值创作工具，吸引付费订阅。
• 体验升级：相比传统 2D 贴图，DIRECT 保持参考对象身份一致性的同时，确保光影、色调与背景自然衔接，且位姿完全由用户控制，避免“漂浮物”的违和感。

与现有产品/工作流的接口

• 作为生成式插件嵌入：DIRECT 基于扩散模型，可打包为标准 API 或 ComfyUI 节点，对接现有 AIGC 管线（如 Stable Diffusion 生态）。输入参考图像、背景图与 3D 代理信息，输出合成结果，无需修改下游应用。
• 前端交互集成：3D 代理的位姿操控可与 WebGL/Three.js 等前端框架结合，实现浏览器端的实时拖拽预览，后端异步调用模型生成最终图。
• 数据飞轮构建：文章提出的自动化数据构造管线可自提升，企业可用自身业务数据微调，形成领域专用的对象插入引擎，持续优化长尾物体的表现。

具体落地 Use Case

1. 全球家居电商：用户上传家具单品图，在 3D 场景中旋转、挪移后，系统生成该家具摆在用户真实房间照片中的效果图。这既减少了退货率，又增强了无实物购买信心。
2. 视频会议背景定制：企业将 3D 品牌吉祥物/标识按指定朝向插入参会者虚拟背景，并在多端保持一致的视觉透视，强化品牌形象且无需专业设计软件。

论文代码与项目页：DIRECT GitHub | Project Page

局限

• 几何引导的准确性高度依赖深度与法线估计质量：DIRECT 使用预训练深度估计器生成几何条件，但这类估计器在透明、反光或细薄结构物体上易产生错误，导致注入的几何线索与实际场景不一致，进而破坏最终合成图像的遮挡关系和透视效果。论文未详细探讨深度估计误差的传播影响及其缓解策略。
• 交互式 3D 代理调整限制了自动化能力：方法要求用户手动摆放和旋转 3D 代理，无法应用于大规模自动化物体插入场景（如数据增广）。此外，当前实现假设物体为刚性，对可变形物体或多部件关节对象缺乏支持的弹性变形或姿态参数化，实用性受限。
• 训练数据构造的域差距未充分应对：自动数据管道生成合成图像来训练模型，但合成数据的光照、材质和场景分布与真实复杂环境仍存在差异，模型在真实拍摄图像上的泛化性能可能下降。论文仅在相对受限的数据集上评估，缺乏对极端视角、复杂遮挡或动态光照等挑战场景的系统分析。