PanoWorld: 一种用于一致全屋全景图生成的生成式空间世界模型

TL;DR PanoWorld 用 floorplan 几何代理与动态 3DGS 空间记忆，自回归生成多房间 360° 全景，实现全屋 VR 游览的跨视点几何与材质一致性，兼顾 2D 生成质量和 3D 稀疏重建效率。

问题

VR 看房与室内场景生成 领域正从单张图像合成走向围绕布局一致性的多房间全景序列生成，目标是让一次风格描述即可产出可导航的完整虚拟空间，大幅压缩传统建模与渲染成本。

现有方法主要分两路：纯 2D 扩散/自回归生成器 虽能产出高品质的单张 360° 全景，但切换视点时几何结构、材质与光照会被重新想象，导致跨节点出现墙壁错位、家具消失或纹理跳变；整体式 3D 生成 (如 NeRF/3DGS 一次建模) 在多房间尺度下计算开销极高，且因容量限制往往丢失高频纹理，无法还原地板木纹、织物细节等关键视觉要素。两者都无法在保真度与一致性之间取得平衡。

该问题的核心难点在于 全屋级空间一致性 是一种长程约束：任意房间的墙面、门窗、家具排布必须与其他房间的对应实体严格对齐，而 3D 几何通常只能从二维平面图间接推断，缺少真实的深度与遮挡信息。同时，全景生成又要求极高分辨率（通常 2K 以上）和逼真渲染，使得内存与计算限制十分严峻。业界对轻量、可渲染式空间记忆与解耦几何引导的方案高度关注，因为 VR 看房平台、室内设计工具以及具身智能训练环境都急需这种“一次生成、全屋复用”的能力。

这一挑战可类比 视频生成中长时序一致性问题：如同让一个视频模型在相机移动数十步后仍保持物体不变形，PanoWorld 需要让全景生成器在房间之间“走”一圈后，回到起点时的墙面、家具与影子依然严丝合缝，而实现这一切的代价必须远低于重训一个大场景 NeRF。

核心洞察

• 解耦全局几何代理与可渲染视觉记忆，实现高质量与一致性兼顾。PanoWorld 没有将几何约束与视觉纹理耦合在单一3D表示中，而是用floorplan推导的3D外壳作为全局结构先验，动态3DGS缓存作为空间记忆。这避免了纯2D生成器在视角变化时重新想象几何材质的问题，也避开了单块3D生成无法保留高频细节的困境，在整屋尺度上首次实现了稳定、可导航的VR全景合成。
• 拓扑感知渐进缓存机制解决了长序列自回归生成中空间记忆累积误差与计算开销。给定导航图谱，模型仅需更新当前节点相关的局部3DGS区域，并利用房间感知过滤屏蔽跨房间特征，无需每次重置全部历史状态。这为大规模室内场景的空间世界模型提供了可扩展的、一致的内存维护策略，显著优于直接累积或全量重建的基线。
• 全景LRM与房间感知组注意力协同实现2D全景到结构化3D的高效提升。面向360度全景和度量尺度多房间输入，模型通过位置编码和分组注意力将生成的全景像素精确映射为高质量3D高斯，同时强制房间内特征聚合、跨房间去相关，从而在自回归链上保持清晰的房间边界和一致的材质布局。

方法

输入与整体流程

PanoWorld 以房型平面图(floorplan)和风格参考图(style reference)作为输入，将全屋 VR 漫游合成建模为节点基 360°全景图的自回归生成。首先生成全局几何代理，然后沿拓扑路径逐节点生成全景图，每个新全景通过前馈 LRM 更新空间记忆缓存，缓存渲染的视觉内容与几何代理渲染的深度/布局共同引导下一帧生成，最终输出空间一致的全屋全景序列。

全局几何代理

从 floorplan 中提取墙体、门窗等信息，构建粗糙的 3D 外壳网格(3D shell mesh)，作为整个场景的全局几何先验。该代理提供每个视点的预期深度和布局，避免生成器在不同节点间重复“想象”几何结构，是跨视图一致性的基础。

拓扑感知的节点采样与路径生成

将平面图转化为导航图，确定拍摄节点位置和遍历顺序。路径采样遵循真实 VR 漫游的离散导航模式，确保相邻节点有足够重叠，便于后续渐进缓存更新。

房间感知的全景 LRM (Panoramic LRM)

这是将单张全景图提升为局部 3D 表示的核心模块。采用前馈网络结构，输入全景图及对应相机参数，输出局部 3D Gaussian Splatting (3DGS) 的更新参数(位置、协方差、颜色等)。关键设计：

• 全景位置编码：将全景图的等距柱状投影像素位置映射到度量尺度的 3D 射线，使网络理解空间尺度，避免失真。
• 房间感知组注意力：在 Transformer 的自注意力中，根据房间拓扑对特征分组，限制注意力范围到同一房间内，抑制跨房间特征干扰，显著提升不同房间材质和布局的一致性。
• 训练目标：结合 L1 重建损失和感知损失，在多房间度量尺度 360°数据上端到端训练。

拓扑感知的渐进式 3DGS 缓存

为避免每帧重建整个历史，PanoWorld 维护一个动态的全局 3DGS 缓存作为可渲染的空间记忆。每生成一个节点全景后，利用 LRM 将其转换为局部 3DGS 更新，并通过渐进策略融合到全局缓存：只更新当前节点可见区域的高斯体，同时根据拓扑关系进行跨房间记忆过滤——当遍历到新房间时，清除较远旧房间的缓存，保留近邻房间记忆。该缓存从任一视点渲染后提供前一帧的视觉参考，形成闭环。

自回归生成与解耦引导

在生成过程中，下一帧全景的条件输入明确分离为两部分：缓存渲染的 RGB 图像(提供外观/材质记忆)和几何代理渲染的深度/布局图(提供几何约束)。生成器(U-Net 或 DiT 骨干)将二者与当前风格编码、前序全景图融合，实现高频纹理合成质量与跨视图布局/材质一致性的统一。

与同类方法的本质差异

相比纯 2D 生成器(每次视点变化重新想象几何与材质)和整体 3D 生成(多房间规模下计算昂贵且丢失细节纹理)，PanoWorld 解耦了几何代理与视觉缓存，在保持单帧 2D 合成逼真度的同时，通过带记忆的自回归过程高效实现多房间全景的空间连贯性，是一种轻量且可扩展的空间世界模型。

实验

实验设计概览

论文围绕全屋全景合成与整体重建两个核心任务设计实验。全景合成部分将 PanoWorld 与纯 2D 生成器（如 Stable Diffusion 变体）、整体 3D 生成方法进行对比，衡量单节点视觉质量与跨房间布局/材质一致性。全屋重建部分则与现有全景 LRM（如 Pano2room）等基线对比，评估从生成全景到 3D 高斯泼溅重建的保真度。消融实验重点拆解 Room-aware Group Attention、全景位置编码 和 拓扑感知渐进缓存 等模块的作用。

关键发现

• 解耦架构优势明显：将 floorplan 导出的全局几何代理（3D shell）与动态 3DGS 缓存的视觉记忆分离，使得 PanoWorld 在保持 2D 合成高频细节的同时，跨视角布局和材质一致性大幅提升。
• 空间记忆有效抑制漂移：渐进式 3DGS 缓存仅融合局部更新，避免全历史重建，计算开销可控，且跨房间特征干扰通过 room-aware 过滤得到抑制。
• 自回归生成匹配真实导航：基于节点采样的自回归策略天然适配 VR 巡游产品的离散跳转逻辑，生成的全屋全景序列在拓扑连贯性上显著优于一次性整体生成。

与基线对比的深度解读

对比实验显示，纯 2D 方法单视角画质虽好，但视角切换时会出现几何与材质重新想象的问题，无法维持空间一致性；而整体 3D 生成在多房间大尺度下成本高且丢失精细纹理。PanoWorld 通过二维生成器 + 三维记忆的混合管线，在画质与一致性之间取得更优平衡。消融实验进一步证实，移除 room-aware group attention 后，跨房间特征干扰导致明显伪影，验证了该模块在抑制无关视图交互中的关键作用。

行业影响

落地场景

PanoWorld 可直接赋能 虚拟看房平台（如 Zillow、Realtor.com）自动生成全屋一致性 VR 漫游，也适用于 家居电商 为家具提供沉浸式空间体验。室内设计工具（如 Planner 5D、RoomSketcher）可将其作为 GenAI 后端，从户型图和风格参考实时生成设计预览。在 数字孪生 与 虚拟制片 中，它能快速构建多房间场景，用于游戏或影视预演。

商业价值

• 降本：替代耗时的人工 3D 建模与拍摄，单次虚拟看房生成成本大幅降低。
• 增收：在房产交易中，高一致性 VR 体验可提升用户停留时长与转化率；在家居零售中，可增加 AR 购物下单率。
• 体验升级：相比纯 2D 生成器，PanoWorld 解决了跨视角的几何/材质不一致问题，避免用户迷失；相比 3D 重建方案，保留了高频纹理细节，兼顾真实感与流畅性。

与现有产品/工作流的接口

PanoWorld 输出 节点式 360° 全景图，与主流 VR 导航标准（如 Matterport、Kuula）天然兼容。可通过 微服务 API 集成到内容管理系统中：输入户型图 JSON + 风格描述，返回渲染后的全景图序列和 3DGS 缓存。3DGS 缓存 可直接导入 Unreal Engine 或 Unity，用于更高阶的实时渲染应用。其 自回归生成流程 支持增量式更新，适合与现有 AIGC 管道（如 Stable Diffusion 后处理）拼接。

具体落地用例

1. 在线房产平台自动生成 VR Tour：经纪人上传户型图后，系统自动生成高一致性全屋全景，减少人工拍摄成本，并支持买家随时切换风格（如「现代简装」）预览装修效果，加速决策。
2. 家居电商的空间化产品展示：用户选择沙发后，PanoWorld 以用户真实客厅户型为底图生成含该产品的全景，使消费者在不同视角下观察产品与空间的匹配度，降低退货率。

局限

• **对非标准平面图的几何泛化有限**：方法依赖从平面图提取的 3D 壳体作为全局几何代理，当户型结构不规则、存在斜墙、弧形墙或多层错层时，该代理可能无法准确表达空间拓扑与遮挡关系，导致生成全景中出现几何错位或空洞。壳体的粒度与精度也会影响后续自回归生成中跨房间的对齐一致性，而论文未讨论对极端或非曼哈顿世界的户型处理能力。
• **渐进式缓存随房间数量线性增长**：拓扑感知的渐进式 3DGS 缓存虽避免了全体历史重算，但随着房间节点增加，缓存体积及渲染开销仍线性累积。对于大平层或别墅等几十个节点的场景，推断阶段的显存与延迟可能成为实际 VR 导览产品的瓶颈。论文没有提供在大尺度场景下的效率分析与内存上限评估，限制了其实时交互应用的部署可行性。
• **训练数据局限及风格多样性不足**：评价数据使用了室内设计数据集，但未公开数据分布细节；从文中引用看，训练数据可能偏向某一类家居风格。当参考风格与训练分布差异较大（如复古、工业风）时，模型可能产生纹理混叠或家具布局不合理的伪影。此外，缺乏对跨数据集泛化性能的消融或用户研究，使得在实际产品中应对多元风格输入时一致性存疑。