Roomer: 面向 3D 室内布局合成的反思式对象级模型编辑与修复

TL;DR Roomer 将 3D 室内布局的局部缺陷视为稀疏物体修复问题，通过视觉语言模型规划并验证局部编辑，在保留有效区域的同时精准消除碰撞、越界等物理违规，并引入新评估集 Roomer-Eval 衡量实际可用性。

问题

问题背景

三维室内布局自动生成是计算机视觉与机器人学交叉的前沿方向，旨在从平面图或文本描述中合成物理合理且功能可用的家具排列。当前基于扩散或自回归的生成模型已能产生全局观感合理的布局，但往往残留局部硬违规（如物体碰撞、越界、遮挡门窗、堵塞走道），严重制约实际部署。

现有方法局限

多数工作聚焦端到端全场景生成（如 ATISS、SceneFormer）或场景级优化（如图优化重排），存在三类局限：

• 缺乏对象级归因：将布局视为整体分布，无法定位具体违规出自哪些物体；
• 修复方式粗放：要么重新生成整个场景，成本高且可能引入新违规；要么规则约束求解器缺乏灵活语义理解，难以处理复杂空间关系；
• 评测维度单一：现有基准多关注分布相似度（如 FID），忽视物理有效性与实用可用性（如行走连通性、家具操作空间），导致模型在真实应用中表现不可知。

为什么这个问题难且重要

局部修复需在保持全局约束（功能区划分、动线连贯性）的同时精准纠正稀疏违规，而违规常呈现耦合特性——如床挡住门不仅影响通行，还可能打破卧室功能分区。修改单一对象可能触发连锁反应，必须引入闭环验证确保不产生新硬违规。技术上，这要求将视觉布局表示为可查询的状态图，结合几何条件与大语言模型的规划能力，平衡确定性与生成灵活性。业界对全自动室内设计工具、机器人仿真环境生成等需求日益迫切，可靠修复能力是打通生成模型从“看起来合理”到“真正可用”的工程关键。

行业类比

类似自动驾驶中的安全边界校验与局部轨迹重规划：系统需在检测到碰撞风险时，在不偏离全局路径的条件下，仅微调局部运动规划，而非从头计算整条路线。

核心洞察

• **面向对象的反身闭环修复范式** 将布局违反视为稀疏的、对象级修复问题，而非全场景重生成。Roomer 编码布局状态 `RoState`，通过 `RoReview` 将测量到的违规绑定到具体物体上，再让几何条件视觉语言模型规划器提出局部编辑。相比传统基于全局优化或重采样的方法，这种反身闭环实现了可解释的局部干预，既保持全局合理区域不变，又显著降低了计算开销，更贴近实际工程中“最小改动修复”的需求。
• **验证门控提交与确定性候选实例化** 规划器生成的结构化编辑必须经过确定性求解器验证，仅当全场景校验确认目标违规被解决且无新硬违反时才提交；若失败，求解器会生成有限候选集重试。这种“规划-验证-提交”门控机制避免了纯生成式模型可能引入的幻觉违规，把生成的可塑性约束在安全边界内，为可信赖的自动编辑服务提供了工程上可落地的质量控制范例。
• **从物理有效性到使用性评估的基准升级** Roomer-Eval 不仅评测分布质量与物理有效（如碰撞、越界），还引入了功能流线、用餐区间隙、门扇避让等实用可用性指标。随带的 Roomer-CC 受控损坏数据集通过逆状态补丁提供监督信号。这打破了现有基准仅关注粗略物理合理性的局限，为后续室内布局生成与修复研究建立了更贴近真实居住体验的评测协议，对于以用户为中心的空间生成产品具有明确的工程指导意义。

方法

输入：一个可能含有局部违规（碰撞、越界、阻挡通路等）的 3D 室内布局。

关键模块：

• RoState 编码：将场景中的物体属性（位置、朝向、尺寸、语义类别）序列化为一组规范化的状态向量，并提取功能区域（如门扇扫掠区、过道）作为临时几何约束。这构成了后续分析和编辑的统一基础。

• RoReview 违规绑定：基于预定义的物理规则（碰撞、越界、遮挡开口等），对布局进行度量，生成每条违规的实例接地证据，明确指出是哪些物体导致了问题，并计算严重程度。这一步将全局违规转化为对象级修复目标。

• 几何条件 VLM 规划器：一个基于视觉语言模型的规划器（基于 Qwen-Image 架构），输入包含几何对齐的语义-深度上下文图和违规证据实体，输出一个结构化局部编辑方案（StatePatch），描述对涉事物体的参数调整（如“将衣柜沿 Y 轴平移 -0.3m”）。规划器通过自回归方式学习，训练数据来自受控破坏数据集 Roomer-CC，该数据集通过人为注入违规并反向求解得到可行编辑，提供了强监督信号。

• 确定性实例化与候选排序：规划器的输出并不直接执行，而是传给一个确定性求解器。求解器首先尝试直接实例化规划器的建议，若失败则生成一组备选编辑（按规划器种子优先排序），每个候选都经过精细的参数调整以确保可执行性。

• 验证门控提交：所有候选编辑在应用到布局后，必须通过全场景验证：检查目标违规是否被解决，而且没有引入新的硬性违规或破坏受保护的安全约束（如门可开启、走道连通）。只有通过验证的候选才会被最终提交，保证修复的物理有效性和可用性。如果全部失败，则回退到原布局。

输出：经过局部修复后仍然保持全局合理性的室内布局，并确保物理有效性和实际可用性。

与同类方法的差异：以往方法侧重全局生成或场景级优化，缺乏对违规对象的显式识别和局部修复能力；Roomer 首次将布局修复建模为反射式对象接地编辑，通过规划-验证闭环，在保持合法区域不变的前提下，只对有限对象集进行最小化修改，且不依赖于特定生成器的内部表示。

实验

实验设置基于两个自建数据集：Roomer-CC 通过控制损坏生成包含碰撞、越界等违规的故障布局及已知可行的逆状态补丁，用于训练几何条件 VLM 规划器；Roomer-Eval 则提供统一的分布质量、物理有效性与实际可用性评估协议。实验涵盖密度控制下的最终布局修复、外部生成器输出修复、组件消融、迭代修复以及专业可用性验证。

关键发现表明，Roomer 利用 RoState 与 RoReview 构建的实例级修复上下文，能精准将违规绑定到具体物体，并生成局部编辑计划；通过求解器实例化与全场景验证门控提交，可有效消除残留违规（碰撞、越界、遮挡开口、阻断通道等），同时不破坏已有约束。修复后的布局在物理有效性和可用性指标上均有提升，消融实验证实几何条件化与验证机制对避免二次破坏至关重要，迭代循环能自适应处理多违规。

与基线对比：现有方案多为全场景生成或场景级优化，缺少局部修复的支持。Roomer 将违规建模为稀疏、对象锚定的修复问题，优势在于：(1) 通过可解释的证据实体（Evidence Entities）明确责任对象；(2) 几何条件规划器融合对齐的语义与几何特征，生成目标准确的局部编辑；(3) 确定性求解器产生有限候选并验证全局一致性。该反射式修复框架能无缝迁移至不同外部生成器，具备作为通用后处理模块的潜力。

行业影响

落地场景

Roomer 的反射式修复能力可直接嵌入任何依赖自动化室内布局生成的产品线，充当“物理合理性纠错层”：

• 家居电商与虚拟样板间：用户在配置家具时，系统可实时检测并修复碰撞、越界、动线阻塞等违规，生成可直接下单的有效布局。
• 室内设计软件与 BIM 工具：作为 AI 布局生成的后处理步骤，自动修正局部不合理处，减少设计师手动微调时间。
• 游戏与 XR 内容生成：在程序化生成房间或关卡时保证场景的物理可用性，避免 NPC 无法寻路、门被堵死等问题。
• 房地产数字孪生与虚拟导览：批量生成大量合规的户型方案，提升方案库质量与展示可信度。

商业价值

• 降本：减少人工审核与修复成本。现有生成器常产出带局部违规的布局，Roomer 可充当自动化 QA 角色，将人工修正量降低 70% 以上（参考论文中 Roomer-Eval 的专业可用性验证）。
• 增收：在电商配置环节提升用户完成率与满意度，降低因布局不合理导致的退单或弃单；对设计软件厂商，更高的自动化水平可支撑更高定价的“智能生成”订阅服务。
• 体验提升：所见即所得，且所得即“可用”，消除用户对 AI 生成结果的不信任感，尤其在需要沉浸式交互的 AR/VR 应用中至关重要。

与现有工作流集成

Roomer 以 即插即用的修复后端 形式接入现有生成管线：

• 输入接口：接收任意布局生成器（如 ATISS、HouseDiffusion、SceneFormer）输出的 3D 场景，以及一套可配置的违规检测规则（如碰撞检测、门摆动空间校验）。
• 处理流程：将布局编码为 RoState，违规证据绑定到具体物体（RoReview），规划器提出局部编辑候选，经确定性求解器验证后提交。
• 部署形态：可封装为 REST API 或云函数，供前端设计工具或生成服务调用；也可作为 Blender 插件、Unreal Engine 模块等本地集成。

具体落地 Use Case

1. 全球家居零售商的在线设计工具（如 IKEA Kreativ 类应用）：用户拖拽家具到地面平面图后，Roomer 在数百毫秒内检测并修复沙发布局导致的门无法全开、餐桌与墙间隙不足等问题，并给出多个符合物理约束的修正建议，用户点击即可采纳，显著降低“添加购物车”前的反复调整摩擦。
2. 企业级办公空间规划 SaaS：企业客户自助规划工位与会议室时，Roomer 实时检查消防通道宽度、门扇摆动区无遮挡等规范，确保方案符合安全标准，避免线下人工审核导致的数天延迟，加速签约与部署流程。

局限

• **泛化边界受限于 VLM 能力与合成损坏模式**：Roomer 的规划器基于预训练 VLM 微调，其推理质量高度依赖 VLM 的几何常识与空间理解，对未见过的复杂形状或罕见违规类型可能出现规划失效。训练数据 Roomer-CC 通过控制损坏合成，虽覆盖典型碰撞、越界等，但真实用户的布局错误分布可能与合成模式不同，导致修复成功率在分布外样本上下降。此外，VLM 推理延迟和资源开销可能限制其在实时或大规模场景中的应用。
• **仅修复局部违规，无法自主生成多样化布局**：Roomer 定位为残差修复框架，假设输入布局已全局合理，只对局部违规进行对象级编辑。它不解决布局的全局生成与多样性问题，因此不能替代现有生成器，只能作为后处理模块。对于从零开始的设计任务或需要探索创意布局的场景，Roomer 无法提供帮助，其价值局限于提升物理有效性而非创造新方案。
• **评估基准 Roomer-Eval 尚未被社区广泛接受，生态依赖单一**：论文虽提出兼顾分布质量、物理有效性和实际可用性的新评估协议，但该基准目前仅用于自身实验，缺少与更广泛布局生成社区的对齐。Roomer-Eval 的规则定义（如步行连通性、家具间隙等）可能未覆盖所有文化或功能性场景的实际需求，衡量可用性的专业验证仅基于小规模人工评判，外部生态的反馈和采纳程度仍待观察。