Enhancing In-context Panoramic Generation via Geometric-aware Pretraining

TL;DR Canvas360 通过几何感知预训练（并行深度、速度循环填充、相似度正则）与统一 in-context 微调，结合 1M 高质量配对数据集，大幅提升全景生成的几何一致性、全局连贯性及多任务灵活性，尤其在 FAED 指标上表现突出。

问题

问题背景

全景图像生成是计算机视觉中的一项重要任务，广泛应用于虚拟现实（VR）、自动驾驶模拟和沉浸式内容创作。近年基于扩散模型的文本到全景生成已取得进展，但如何赋予模型上下文生成能力（in-context generation）——即根据少量示例和文本指令完成风格迁移、修复、扩展等多种创作任务——正成为新的研究焦点。

现有方法的局限

• 几何特性缺失：多数方法直接将平面图像生成技术套用于等距柱状投影（Equirectangular Projection, ERP）图，忽略了全景图特有的循环边界和畸变分布，导致生成结果左右边界接缝明显、全局几何一致性差。
• 任务单一，泛化能力弱：现有工作通常针对单一任务设计（如纯文本到全景生成），难以在统一框架下支持多种上下文任务，缺乏对多任务指令的建模。
• 数据匮乏：专门用于上下文全景生成的高质量配对数据集非常稀缺，无法为模型提供足够监督信号来完成零样本或微调学习。

技术挑战与重要性

全景图具有球面拓扑特性，要求生成模型在二维平面表征中同时处理无缝循环填充和物体畸变，这比普通图像生成更具挑战。实现上下文全景生成需要模型同时掌握几何先验和任务泛化能力，在一次前向传播中整合图像示例、文本指令与球面几何约束。从工程角度，统一的全景内容创作框架能大幅降低 VR 内容制作门槛、提高生产效率，因此该问题的解决具有明确的实用价值与商业前景。

行业类比

如同大型语言模型通过上下文学习实现多任务统一推理，Canvas360 利用几何感知预训练将同类思想引入全景生成，使单一模型高效覆盖各类编辑与创作场景。

核心洞察

• **几何感知预训练显式注入全景先验，解决了等矩形投影畸变与循环连续性问题。** 传统图像生成模型直接迁移至全景图时，常常忽略左右边界的循环特性以及投影导致的物体扭曲。Canvas360 通过**并行深度生成**和**velocity circular padding**，在预训练阶段强制模型学习深度线索与水平循环结构，配合**相似度损失**约束，使得模型从本质上理解全景空间的几何关系，而非依赖后处理或数据增强。相比已有 baseline，这种显式几何约束带来了在全景专属指标 FAED 上的显著提升，证明了针对性预训练对全景生成的必要性。
• **统一 token 级拼接框架与百万规模配对数据集，实现了多任务全景生成的灵活扩展。** 现有全景生成工作往往针对每个下游任务（如修复、外推）设计独立模型，缺乏通用性。Canvas360 构建了**100 万高质量全景配对样本**的 Canvas360Dataset，覆盖风格迁移、修复、外推与编辑，并在同一个架构中通过简单的 token 级拼接即可适配不同任务。这种设计不仅减少了任务专属头部的工程复杂度，更利用强大的全景先验保证了各任务间的表示一致性，为实际工程部署提供了高可维护性与扩展性。

方法

方法概述

Canvas360 采用两阶段框架：先进行几何感知文本到全景预训练，再针对下游任务统一微调。其核心是通过专用技巧学习全景图的畸变和循环特性，并利用统一序列建模覆盖多种生成任务。

输入与预处理

• 预训练阶段：使用文本-全景对，借助大规模自建 Canvas360Dataset（百万样本）提供监督。
• 微调阶段：输入包括参考图像、目标掩码和文本条件，经 token 化后拼接为统一序列，支持风格迁移、修复、外推和编辑。

几何感知预训练模块

此阶段旨在显式建模全景图特有的投影畸变和边界循环：

1. 并行深度生成：模型同步预测深度图，通过深度与RGB的空间对齐损失，迫使网络理解三维结构，从而更好地还原物体在全景拉伸下的畸变细节。
2. 速度循环填充：针对全景图的水平循环特性，在卷积或注意力计算边界时采用循环填充策略，使左右边界无缝过渡，消除生成拼接感。
3. 相似性损失正则化：添加损失项，约束生成图像在边界对应位置的特征一致性，进一步加强全局连贯和几何正确。

下游任务统一微调

利用预训练获得的强全景先验，Canvas360 将各类下游任务统一为 token级拼接 的生成范式：

• 将参考图、mask、文本等条件编码为一维 token 序列，直接送入基础生成模型，无需针对不同任务修改网络结构。
• 该方法极大提升了任务覆盖范围和建模灵活性，单个模型即可处理多种全景编辑需求。

输出与优势

生成高保真全景图像，在全景专用指标 FAED 上表现突出，同时保持其他通用指标的竞争力。

与同类方法差异：以往工作多为特定任务设计，且忽略全景图的几何畸变；Canvas360 首次通过几何感知预训练（并行深度+循环填充）显式建模全景物理约束，并借助 token 级拼接实现统一的 in-context 生成，在处理边界连贯性和畸变物体上性能显著提升。

实验

实验设计

Canvas360 采用两阶段训练框架：第一阶段进行几何感知文本到全景生成预训练，使用 Canvas360Dataset 中约 1M 个高质量全景样本，同时结合并行深度生成、速度圆形填充及相似度损失正则化，使模型习得全景特有的几何一致性与全局连贯性；第二阶段在下游 in-context 任务（风格迁移、修复、外推、编辑）上统一微调，所有任务通过 token 级拼接实现统一建模，无需为每个任务设计独立结构。

关键发现

大量实验表明，Canvas360 显著提升了全景图像保真度，尤其在针对全景设计的 FAED 指标上表现突出。几何感知预训练策略有效缓解了物体畸变与边界不连续问题，并行深度生成与速度圆形填充为模型提供了显式的深度线索与无边界包裹感知，相似度损失则增强了跨视角的一致性。统一框架可灵活覆盖多种 in-context 生成场景，且微调后模型仍保持良好的全景先验，证明预训练阶段习得的几何表示对下游任务有强支撑。

与基线的深度对比

与此前分别针对各任务设计专用模型或采用简单拼接的方案相比，Canvas360 的 token 级拼接统一框架在任务覆盖广度与建模灵活性上具有明显优势。其预训练阶段引入的几何感知设计（如深度生成和圆形填充）使模型对全景几何结构有内生理解，而非仅在像素空间进行后处理，因此在 FAED 等几何敏感指标上能拉开差距。同时，利用大规模预训练数据集，模型在下游任务上展现出更稳定的性能和泛化能力，超越了过往只依赖小规模数据或无几何约束的方法。

行业影响

落地场景

Canvas360 框架可直接赋能需要高质量 360° 全景内容生成的业务，典型场景包括：

• 虚拟房地产与旅游：自动生成室内外全景、修复缺失区域（inpainting）、根据文字描述变换风格，减少人工拍摄与后期成本。
• AR/VR 内容平台：基于文本或参考图像快速生成沉浸式背景，加速素材生产。
• 自动驾驶仿真：生成多样化的街景全景图用于感知模型训练，提升 corner case 覆盖。
• 电商商品展示：为商品生成 360° 环境背景或进行风格迁移，提升视觉吸引力。

商业价值

• 降本：通过 geometry-aware pretraining 与 Canvas360Dataset，模型能零样本/少样本完成风格迁移、补全、外扩等任务，大幅减少人工采集与标注费用。
• 增收：在旅游、房产平台，更高画质与一致性的全景图可提升用户停留与转化率；内容平台可凭借快速 AIGC 能力吸引创作者，增加付费场景。
• 体验提升：独有的 velocity circular padding 与 similarity loss regularization 保障全景图几何一致性，避免传统方法出现的边缘扭曲，使生成的 360° 内容在头显或移动端浏览时更自然，降低眩晕感。

与现有产品/工作流的接口

Canvas360 可作为微服务或 API 集成到现有图像处理管线：

• 输入输出标准化：接受文本/参考图+掩码，输出 2:1 equirectangular 投影全景图，兼容主流 360 播放器。
• 模型部署：基于扩散模型的 token-level concatenation 推理，可部署于 GPU 服务器或边缘设备，与现有 Stable Diffusion 生态（如 ControlNet）兼容。
• 数据飞轮：企业可基于 Canvas360Dataset 收集的 1M 样本微调自有数据集，快速适配特定领域（如室内设计、户外景观）。

具体落地 Use Case

1. 房地产平台虚拟看房：用户上传一张房间照片，指定“现代简约风”，Canvas360 可将该房间外扩为完整全景（outpainting），并统一风格；对于因家具遮挡产生的空洞，利用 inpainting 自动补全。此流程可替代传统 3D 扫描，单房成本降低 80% 以上。
2. VR 游戏资产生产：游戏工作室输入场景描述（如“赛博朋克街道夜间”），Canvas360 生成天空盒全景作为环境贴图；再通过编辑功能快速调整时间/天气，减少美术手工绘制，加速关卡迭代。

局限

• **几何先验依赖深度估计质量**：Canvas360 的几何感知预训练依赖于并行深度生成，而深度估计网络本身在复杂全景场景（如弱纹理、反光、动态物体）下可能失效，导致几何线索失准，进而影响生成图像的几何一致性。此外，深度与全景图的对齐误差会直接放大 distortion 处的瑕疵，降低可信度。
• **数据集泛化与偏向性**：尽管 Canvas360Dataset 包含 1M 高质样本，但其构造过程依赖 AI 生成与筛选，可能导致数据分布偏向某些场景风格或任务类型（如室内家居、自然风光），在极端视角或非典型全景内容上表现不佳。数据覆盖的编辑操作（如修复、扩展）仍有限，实际应用中需谨慎评估 domain gap。
• **计算效率与部署门槛**：两阶段训练（几何感知预训练 + 逐任务微调）显著增加了训练计算量，且推理时需并行生成深度，可能限制其在低资源环境或实时应用中的部署。与单阶段端到端方案相比，工程复杂度更高，开发者需权衡效果与成本。