SENSE: 基于卫星的可持续环境能源综合模型

TL;DR SENSE 用可控扩散模型联合生成卫星图与建筑能耗/高度标注，仅需不到 20% 标记数据即可合成高质量数据，将下游预测 IoU 提升 10%，并显著降低能耗预测误差（NMBE 降 3%–11%，CVRMSE 降 1%–9%），满足 ASHRAE 标准。

问题

问题背景

城市建筑能耗建模 (UBEM) 对实现联合国可持续发展目标 7 和 11 至关重要，卫星影像与深度学习的结合虽已取得显著进展，但仍难以支撑城市设计的生成式规划需求。

现有方法局限

• 预测式范式 只能评估已存在场景，无法生成"what-if" 的规划方案，与城市设计的探索本质脱节。
• 扩散模型 虽在遥感图像生成中崛起，但现有工作仅限于视觉外观合成，缺乏对能耗层、建筑高度等功能属性的同时生成，无法形成完整的数字孪生信息栈。
• 数据稀缺 是核心瓶颈：像素级对齐的高质量、高分辨率建筑能耗数据极少，且获取成本极高，严重制约了监督学习模型的上限。

技术挑战与重要性

该问题难在需要联合生成视觉逼真且物理一致的能耗与高度地图，并满足 ASHRAE Guideline 14 等严格指标（NMBE、CVRMSE），同时只用不到 20% 的标注数据维持性能。其重要性在于为城市科学、能源科学和建筑科学提供了一种可控的物理生成方案，直接服务可持续发展目标，业界对生成式 AI 赋能城市数字孪生高度关注。

行业类比

如同使用扩散模型生成合成驾驶场景来增强端到端自动驾驶系统的稳健性，SENSE 用少样本生成城市场景功能层，为下游能耗预测提供低成本数据增强新范式。

核心洞察

• SENSE 首次将生成式 AI 引入城市建筑能耗建模，从“预测现有能耗”转向“合成符合物理约束的未来城市场景”。与纯预测方法不同，其可控扩散模型同时生成卫星影像与能耗/高度图层，为城市前期规划提供可探索的生成式工具，解决了数据稀缺与生成层缺失的双重痛点。
• 该框架通过道路网络与城市密度指标作为空间约束，引导扩散过程在潜在空间生成结果，确保了生成影像与能耗分布之间的强物理一致性，达到 ASHRAE 标准。相比无约束生成或仅图像生成的扩散模型，这种可控性使输出可直接用于下游能耗预测，而不仅是视觉欣赏。
• SENSE 证明用不到 20% 的标注能耗数据即可生成足够的高质量合成数据，使下游建筑能耗预测任务的 IoU 提升 10%，并将 NMBE / CVRMSE 误差下降 3%–11% 和 1%–9%。这为全球众多数据匮乏城市的 UBEM 实践提供了低成本高效益的数据增强路径，降低了对昂贵采集数据的依赖。

方法

输入

SENSE 的输入为多源地理空间数据：卫星图像（RGB 或光谱通道）、道路网络矢量、城市密度指标（如建筑覆盖率、容积率等统计量）。这些信息通过预处理对齐为同一空间分辨率，作为可控扩散模型的条件。

关键模块

框架核心由两部分构成：可控地理空间扩散模型与能耗 / 高度解码器。

1. 可控地理空间扩散模型
   基于 Latent Diffusion Model (LDM)，在预训练自编码器的潜在空间进行扩散过程。条件注入方式为：

   • 使用大型视觉模型（如 DINOv2）提取道路网络与密度指标的高层语义特征；
   • 将特征通过交叉注意力层融入 U-Net 去噪器，引导生成符合地理约束的潜在表示。
     这一设计使得生成过程既保留卫星图像的视觉真实感，又确保与给定的规划约束一致。

2. 能耗与高度解码器
   从扩散模型输出的潜在表示中，通过两个并行的多尺度特征提取通路解析物理量：

   • H-Decoder：采用类似分割头结构，上采样并重建建筑高度图；
   • E-Decoder：类似设计，输出建筑能耗强度图（单位面积能耗）。
     两个解码器共享底部特征，但独立优化以满足不同物理量纲和分布特性。

输出与训练

最终输出为三通道对齐的数据：高分辨率卫星影像、逐像素建筑高度以及建筑能耗热力图。训练损失包含扩散模型的标准去噪损失和解码器的重建误差（如 L1、MSE），并引入 ASHRAE 标准中的 NMBE 和 CVRMSE 作为物理一致性约束。为实现少样本生成能力，框架支持仅用少于 20% 的标注能耗数据训练，其余通过半监督方式保持生成质量。

与同类方法的差异

现有工作要么是纯预测式（输入卫星图 → 输出能耗），缺乏生成能力；要么只生成卫星图像而不产生能量功能层。SENSE 首次将扩散生成模型引入 UBEM，实现视觉层与物理层联合合成，并提供道路与密度作为可控条件，使其可直接用于城市规划方案的比对与优化。

实验

实验设计

SENSE 在 MUSE 多城市数据集上评估，覆盖 纽约、波士顿、里昂、釜山 四座城市的卫星影像、道路网络、城市密度及建筑能耗/高度标注。实验设置三个维度：

1. 生成质量评估：使用 FID 与物理一致性指标衡量影像与能耗图的生成效果；
2. 能量建模合规性：验证生成数据在 ASHRAE 标准下的物理可信度；
3. 数据增强效能：仅利用少于 20% 的标注数据训练生成模型，产出合成数据辅助下游语义分割与能耗预测，并与仅用真实数据的监督基线对比。

关键发现

• 高保真生成：SENSE 能生成视觉逼真且与道路网络结构一致的卫星图像，能耗与高度图满足 ASHRAE 物理约束。
• 极高数据效率：在 20% 标注样本下，合成数据使语义分割 IoU 提升 10%，显著缓解高质量能耗数据稀缺问题。
• 下游预测全面领先：对比 SOTA 城市能耗预测方法，SENSE 的 NMBE 降低 3%–11%，CVRMSE 降低 1%–9%，证明生成范式有效捕捉能耗空间分布。

与基线方法对比

传统 UBEM 方法多为预测驱动（CNN/GNN 等），无法逆向生成城市形态与功能层；近期生成工作仅聚焦卫星影像，缺少能耗地图生成。SENSE 首次将 可控扩散模型 引入城市能量生成，联合建模影像与功能标签，其优势在于：

• 物理先验注入：通过道路、密度等隐空间条件约束，确保生成结果物理一致；
• 数据稀缺下的碾压性能：在同等少量标注下，SENSE 数据增强带来的综合收益远超全监督方法，误差指标全面优于先前最优方案，表明扩散先验可有效克服标注不足。

该框架为城市规划与能源科学提供了数据高效、物理可解释的生成式新范式。

行业影响

落地场景

SENSE 框架直接面向城市建筑能源建模 (UBEM)，核心产出是合成高保真卫星影像、建筑能耗与高度分布图，能服务于三类工业场景：

• 智慧城市数字孪生：为 CIM (城市信息模型) 平台自动补全缺失的能耗图层，构建高分辨率能源数字底座。
• 建筑能效评估与认证：生成海量合成数据，训练更鲁棒的能耗预测模型，快速为整片街区出具 LEED / BREEAM 等绿建认证所需的能耗基线。
• 能源规划与需求响应：电力公司或 ESCO (能源服务公司) 以此为条件，模拟不同城市规划情景（如新建道路、绿地）下的能源需求分布，优化供能网络和储能配置。

商业价值

• 降低数据获取成本：传统建筑能耗数据依赖实地审计或高频传感器，覆盖率极低。SENSE 仅需 不到 20% 的标注能耗数据 即可生成规模级合成数据，将标注成本压降至原有方案的五分之一以下。
• 提升预测精度与业务收益：实验显示，下游能耗预测任务的 IoU 提升 10%，NMBE 降低 3%-11%、CVRMSE 降低 1%-9%。这意味着能源公司可更准确地诊断高能耗建筑、识别节能改造机会，典型的能效合同管理项目可借此提升节能量核算的置信度，从而扩大融资规模。
• 加速模型迭代与产品交付：在数据稀缺的城市，合成数据使 AI 模型能提前完成预训练，让数字孪生或能源管理平台更快落地，缩短实施周期。

与现有产品 / 工作流的集成接口

SENSE 可作为数据增强微服务嵌入现有技术栈：

• 输入层接收 OpenStreetMap 路网、人口密度栅格等公开地理空间数据，与主流 GIS 工具（如 ArcGIS、QGIS）无缝对接。
• 生成的高分辨率能耗与高度图可直接转化为 CityGML 或 GeoJSON，导入 EnergyPlus 或 CitySim 等物理仿真引擎进行精细模拟。
• 提供 REST API，供云端数字孪生平台（如 Azure Digital Twins 或 AWS IoT TwinMaker）调用，实时生成更新后的能耗图层。

具体 Use Case

1. 全球性房地产科技平台（如 JLL、CBRE 的智慧设施管理）
   在为商业资产组合提供碳中和路径规划时，经常面临多国建筑能耗数据缺失。SENSE 可依据公开卫星图和城市指标，批量生成目标物业的高精度能耗估算，支持战略级的资本改进计划（CapEx）排序，并量化低碳改造的投资回报。
2. 跨国能源巨头（如 Engie、Enel X）的“城市能源规划”工具
   在承接新兴城市片区综合能源服务时，利用 可控扩散模型 输入不同路网密度、建筑法规等条件，生成备选规划方案的能耗场景。这比传统自上而下的经验模型更贴近物理真实，有助于向政府客户展示暖通电气系统配置的长期节能效果，提升竞标成功率。

局限

• **泛化性与数据依赖**：SENSE 的训练与验证覆盖纽约、波士顿、里昂、釜山四座城市，这些城市具有较为规整的道路网络与相对统一的建筑形态。对于**道路网络非结构化、建筑风格差异大或街区功能混合度高的地区**（如快速发展的亚洲和非洲城市），模型可能面临显著的分布偏移，导致生成质量下降。论文未测试跨大陆、跨气候带的 zero-shot 泛化能力，也缺少对极端密度（超高密度棚户区或低密度乡村）的评估。在实际应用中，需额外标注数据微调，可能限制了即插即用的推广。
• **生成效率与计算成本**：SENSE 采用**潜在扩散模型**实现联合生成，尽管在兼顾视觉逼真与物理一致性上表现出色，但训练和推理均需大量 GPU 资源（原论文未公开具体硬件需求，但扩散模型普遍面临采样步骤多、生成速度慢的问题）。对于需要快速迭代、实时交互的城市能源规划场景，扩散模型的采样延迟可能成为瓶颈。与基于 GAN 的单步生成方法相比，SENSE 在效率上不占优势，且可控性建立在额外条件输入（道路网络、城市密度指标）之上，增加了预处理负担。
• **能量建模的动态缺失**：SENSE 生成的建筑能耗图高度依赖**静态 GIS 与标注数据**，而真实能耗受居住者行为、设备使用模式、气候变化等动态因素驱动，静态数据难以刻画时空波动。尽管生成结果在 ASHRAE 标准指标（NMBE、CVRMSE）上表现良好，但未评估对**峰值负荷、季节性能耗波动**的还原度。与多模态时序模型（如融合气象、用电曲线的工作）相比，SENSE 缺乏动态建模能力，生成的能耗地图更适用于平均状态估计，而非精细化的需求响应或能效诊断。