To See a World in a Living Context: Unified Indoor-Outdoor Urban World Generation

TL;DR HoloWorld 首次统一生成室内外一致的 3D 城市世界，基于跨尺度上下文实现建筑级室内外对应与跨块连续，室外生成质量超越 SOTA。

问题

问题背景

文本驱动 3D 生成已分别在大规模室外场景合成与精细室内场景生成上取得进展，但两者通常独立发展，各自优化尺度内的真实感与结构合理性，缺少对统一城市场景的整体建模。

现有方法局限

• 跨尺度割裂：室外生成侧重城市布局与建筑外观，室内生成聚焦单个房间的家具与材质，二者之间没有显式对应关系。生成建筑时未建立可关联的 3D 建筑实例或足迹约束，导致室内布局无法与建筑外壳的几何边界对齐。
• 上下文缺失：室外街区生成通常以单块区域为单元，相邻块之间缺乏共享的世界上下文，造成空间组织不连续与视觉风格跳变。
• 评估片面：现有基准多分别评估室外或室内质量，缺乏对室内外一致性与跨块连续性的度量。

为什么这个问题难且重要

城市级世界生成需要同时维护多个粒度的信息：城市级规划、建筑级外观、房间级布局与资产。每个尺度都有不同的约束（如道路网络、建筑立面、墙体与门窗），且生成过程是自回归的，早期决策会传播到后续建筑与室内。技术上，如何将高层语义规划锚定到可操作的几何实体（如建筑 footprint），并让室内生成继承对应建筑的外观特征，是当前方法尚未解决的挑战。业界对可交互、一致的 3D 城市场景有强烈需求，覆盖数字孪生、自动驾驶仿真、游戏开放世界生成等场景，这些应用要求室内外必须同属一个可漫游的世界，而非孤立的资产库。

行业类比

类似游戏引擎中的开放世界关卡自动生成：不仅需要生成山脉与城市，还要确保玩家进入建筑后看到的内部布局与外部结构匹配，否则会破坏沉浸感。

核心洞察

• - 跨尺度上下文作为生成主线：HoloWorld 将室内外城市场景生成统一到同一个不断演化的跨尺度世界上下文（cross-scale world context）中，从城市级规划到单体建筑细节逐层细化。这与以往室内、室外分别训练独立模型的做法根本不同，后者缺乏显式关联，无法保证室内空间与对应室外建筑在几何和风格上的连贯性。
• - 建筑实例 grounding 实现室内外精确对应：HoloWorld 在生成室外环境时显式关联 3D 建筑实例和 footprint，并将这些几何约束传递给室内生成阶段，使室内布局受限于建筑轮廓，且外观特征继承自室外。这种 grounding 机制解决了现有方法难以维持建筑级室内外对应的问题，是实现 coherent 3D 城市的关键设计。

方法

整体流程

HoloWorld 将城市生成视为一个 跨尺度上下文 持续更新的过程。输入是自然语言描述（如区域功能、风格、密度等），框架首先进行 层级城市规划，生成城市级布局、街区划分与风格规范。随后，系统自回归地生成每个街区的外部建筑：每一步以 演化中的全局上下文 和已生成的邻近街区为条件，使用 上下文感知的自回归生成，保证跨街区的空间组织与视觉一致性。生成的外部建筑被实例化并关联到具体的 3D 建筑体和 footprint，形成可索引的建筑级几何基础。

接着，针对每个建筑实例，HoloWorld 进行 建筑级上下文驱动的室内生成。该模块接受外部 footprint 约束和建筑外观信息，生成建筑专属的内容规划与资产生成，最终输出 几何约束的层级室内布局，使室内空间与外部体量对齐，并继承外观特征。整个过程中，跨尺度世界上下文（从城市→街区→建筑→室内）不断更新，确保任意尺度的生成都能感知全局和邻近状态。

输出是一个统一的 3D 城市世界，其中的室内与室外保持显式的建筑级对应，跨街区具备结构和视觉连续性。

与同类方法的差异点：现有方法通常独立合成大规模室外场景与室内场景，HoloWorld 是首个将二者在统一 3D 城市框架内联合生成，并通过跨尺度上下文显式维护室内外对应关系。

实验

实验设计叙述

基于摘要信息，HoloWorld 针对统一室内外城市世界生成任务，实验主要评估城市外部生成质量与建筑级室内外一致性。定量指标包括 AQS（外观质量评分）与 RDR（区域多样性评分）。实验与现有 SOTA 方法进行对比，并包含消融研究验证跨尺度上下文与建筑关联模块的贡献。

关键发现

• 在城市外部生成任务上，HoloWorld 的平均 AQS score 较 SOTA 提升 7.68%，取得最高平均 RDR score，表明生成结果在视觉质量与区域多样性上均具备优势。
• 在建筑级室内外对应关系上，HoloWorld 保持了强一致性，生成的内饰继承外部建筑的几何约束与外观特征。
• 跨街区连续性方面，自回归生成结合邻居块条件有效维持了空间组织与视觉身份的一致性。

与基线对比的深度解读

HoloWorld 的核心差异在于统一的跨尺度世界上下文，将城市级规划、建筑级实例与室内布局关联，而现有方法通常独立生成室内或室外。这种设计使生成的内饰与外部建筑显式对应，而非简单拼接。7.68% AQS 提升表明上下文建模对感知质量有实质贡献，而最高 RDR 可能源于自回归策略对多样性的保留。消融研究预期验证了上下文更新与建筑实例关联的必要性。

行业影响

落地场景

• 游戏与影视内容生产：开放世界游戏、影视虚拟拍摄需要大规模城市场景，HoloWorld 可自动生成内外连贯的建筑群，减少手动搭建工作量。
• 数字孪生与智慧城市：用于生成逼真的城市模型，支持规划可视化、应急演练等场景。
• 自动驾驶仿真：生成多样化城市环境（道路、建筑、室内车库等），提升感知与规划模型的测试覆盖度。
• 建筑设计与室内设计工具：给定地块描述，生成建筑外观并同步生成对应室内布局，快速出概念方案。

商业价值

• 降本：传统城市建模依赖大量人工，HoloWorld 将生成周期从周级压缩到小时级，显著降低内容生产成本。
• 增收：为游戏、影视、数字孪生供应商提供可授权的 3D 资产生成服务，或作为 SaaS 按用量收费。
• 体验提升：室内外一致的空间对应关系（如窗户位置、结构约束）增强虚拟世界的可信度，提升用户沉浸感，有利于高端项目交付。

与现有工作流的集成

• 引擎插件：输出带 footprint 和 building instance 的 3D 格式（glTF/USD），可直接导入 Unity、Unreal、Blender 等 DCC 工具，作为场景生成器插件。
• 数字孪生平台：对接 NVIDIA Omniverse、Esri CityEngine 等，作为生成模块补充现有城市建模流程。
• 云 API：将 HoloWorld 封装为 REST/gRPC 服务，接受文本描述，返回 3D 资产包，便于内容平台按需调用。
• 自回归生成模式：可与现有地形生成、道路网络生成工具链串联，形成更完整的城市生成 pipeline。

局限

• HoloWorld 采用跨尺度上下文持续更新与自回归生成，城市街区顺序生成导致推理时间随规模线性增长，难以并行扩展到大都市区域；且跨尺度上下文维护需要存储和更新多个尺度的中间表示，显存与计算开销较高，限制了实时交互式应用。对比基于 GAN 的单阶段布局生成或基于扩散模型的并行采样，HoloWorld 的序列依赖性更强，工程落地需进一步优化调度与缓存策略。
• 室内生成依赖从外部表示中提取的 3D 建筑实例与足迹，若外部生成存在几何缺失、遮挡或复杂屋顶结构，足迹估计可能不准，导致室内布局与建筑外壳不一致；外观继承基于特征匹配，对风格差异大的建筑或非矩形平面可能失效。论文未充分展示在极端几何（如圆形、异形建筑）或密集城市峡谷场景下的表现，鲁棒性仍需验证。
• 论文使用的 AQS 和 RDR 主要评估视觉质量和分布匹配，缺乏对室内外语义一致性（如功能区域与建筑类型匹配）、建筑规范合规性（如防火、采光）、以及可导航性等物理可行性的量化；与真实城市规划数据集的对比也有限，难以衡量生成世界作为数字孪生或仿真环境的实用性。