考虑不确定性的端到端 AI 天气预报：区分观测与模型的贡献

TL;DR 将 Aardvark Weather 端到端天气模型概率化：编码器加观测噪声捕获偶然不确定性，处理器加 Monte Carlo dropout 捕获认知不确定性，用嵌套集成和方差分解厘清来源，平均预报提升 4.2% 且校准良好。

问题

问题背景

端到端 AI 天气预报模型（如 Aardvark）直接从原始观测生成格点与站点预报，省去资料同化等传统流程，计算成本大幅降低，但主流模型均为确定性输出，缺乏不确定性量化。

现有方法局限

• 确定性端到端模型 不提供置信度，无法支撑风险敏感决策。
• 传统 NWP 集合预报 依赖物理扰动与多次积分，计算昂贵；而现有 AI 集合预报多对初始条件扰动或进行后处理，未显式建模观测噪声，且难以分离 aleatoric uncertainty 与 epistemic uncertainty。
• 端到端模型的观测编码器直接处理含噪声观测，但通常假设输入确定，忽略了观测系统固有随机性；处理器学习动力学的参数不确定性也未量化。
• 缺乏统一框架将两类不确定性解耦，导致预报可信度难以解释。

为什么难且重要

• 观测误差（传感器噪声、覆盖不均）与模型动力学误差相互耦合，难以区分。
• 需要设计随机机制同时刻画两种不确定性，且不能明显损害确定性预报技巧。
• 不确定性量化对极端天气预警、能源调度等下游决策至关重要，业界对可解释、可信赖的 AI 天气预报需求持续增长。
• 分离不确定性来源有助于诊断模型缺陷、指导观测系统改进，推动观测驱动的数字孪生。

行业类比

类似自动驾驶中的传感器融合：区分传感器噪声（aleatoric）与感知模型泛化误差（epistemic），是实现安全决策的前提。

核心洞察

• 通过嵌套集成与总方差定律分解，将端到端预报的不确定性归因到观测系统（aleatoric）和模型动力学（epistemic）两个独立来源。区别于传统NWP集合或纯数据驱动模型通常只输出总体不确定性，Aardvark Weather在编码器添加输入依赖噪声并在处理器添加MC dropout，使每个成员携带双重随机性，从而可量化各自贡献，为诊断预报误差来源和评估观测系统影响提供了透明化手段。
• 在观测编码器端引入学习到的、依赖于输入观测的噪声，直接建模观测系统固有的随机性，而非使用固定方差或简单dropout。这种设计使模型能够根据观测质量动态调整不确定性，例如不同观测流缺失或噪声大时自动扩大编码器分支的方差，更贴近真实观测误差结构，并且可通过遮挡观测流实验验证不确定性归因的正确性，为数据同化与端到端学习的融合提供了新视角。
• 概率微调不仅生成校准良好的集合预报，还反哺平均预报，在多个变量和提前期上平均提升4.2%，且站点CRPS全面优于确定性模型。这说明面向概率目标的训练对模型表示具有正则化效果，端到端系统无需在精度和不确定性之间折衷，而是可以同时获得更优的确定性预测和可靠的集合，为实际部署中兼顾业务指标与风险量化提供了证据。

方法

输入为原始地球观测数据(如卫星、台站观测),直接替代传统数值天气预报中的资料同化流程。核心是将确定性的 Aardvark Weather 模型改造为概率预报系统,在原有端到端架构中注入两类随机机制。

关键模块

1. 观测编码器(Observation Encoder):添加输入依赖的 learned noise,该噪声由观测数据本身决定,用于捕捉来自观测系统的 aleatoric uncertainty(偶然不确定性)。这部分不确定性不可通过增加训练数据消除,反映观测误差和缺失。
2. 处理器(Processor):采用 Monte Carlo dropout,在推理和训练中随机丢弃神经网络单元,捕捉动力学模型中的 epistemic uncertainty(认知不确定性)。这部分不确定性源于模型参数和结构,可通过更多数据或更优训练减少。

上述两种随机机制的叠加构成嵌套集成(nested ensemble):先对观测噪声采样,再对每个采样结果进行 dropout 采样,从而在不同层级引入随机性。

输出与归因

系统输出为多成员集合预报。利用**方差分解定律(law-of-total-variance decomposition)将总预报方差拆分为两部分:观测噪声引起的方差和模型 dropout 引起的方差,实现对不确定性来源的显式归因。同时,通过留出部分观测流(withholding observation streams)**进行交叉验证,检验编码器分支是否真正反映观测驱动的不确定性。

训练上采用概率微调(probabilistic finetuning):在确定性预训练模型基础上针对概率目标(如 CRPS)进行微调,避免从零训练的不稳定,并提升平均预报精度。与同类将单一随机机制插入模型的方法相比,本文的差异在于同时显式分离观测与模型不确定性,并用方差分解与观测流消融进行交叉验证。

实验

实验设计

论文将 Aardvark Weather 这一端到端天气预报模型概率化：在观测编码器加入学习的、输入依赖的噪声，捕捉观测系统带来的偶然不确定性 (aleatoric uncertainty)；在处理器采用 Monte Carlo dropout，捕捉学习动力学中的认知不确定性 (epistemic uncertainty)。由此构成嵌套集成 (nested ensemble)，并通过总方差定律分解 (law-of-total-variance decomposition) 将预报离散度归因到上述两个来源，再通过保留观测流 (withholding observation streams) 进行交叉验证。最后进行概率微调 (probabilistic finetuning) 以优化均值与不确定性指标。

关键发现

• 概率微调显著改善平均预报，跨变量和所有前导时间平均提升 4.2%。
• 集成模型对 ERA5 校准至中期，离散度-技巧比 (spread-skill ratio) 为 0.98，接近理想值1。
• 台站 RMSE 保持在确定性模型 2.4% 以内，且每个前导时间的 CRPS 均优于确定性模型。
• 与业务 ECMWF ensemble 相比仍落后，但差距未量化。
• 编码器分支表现出观测驱动的不确定性，符合设计预期。

与基线对比解读

相比纯确定性端到端模型，该方法在提供可靠不确定性量化的同时，通过概率微调还提升了均值预报精度，噪声注入可能起到正则化作用。这种将不确定性分离为观测贡献和模型贡献的框架，为端到端系统带来了更高的透明度和可解释性。工程上，该方法不需要改变核心网络结构，仅需添加噪声和dropout即可实现，部署成本低。但落后于ECMWF ensemble提示：端到端模型的物理约束或训练数据规模仍需加强，不确定性校准本身不能完全弥补确定性技能的差距。

行业影响

落地场景

端到端概率天气预报可直接嵌入能源交易、农业保险、物流调度与自动驾驶等产品。例如能源公司基于逐小时风速/辐照度的概率分布优化电力市场投标；保险平台利用极端降水概率动态定价天气指数保险；自动驾驶车队通过分钟级降水概率调整路径规划。气象数据服务商可将不确定性图层集成到现有 API，供金融、农业 SaaS 调用。

商业价值

核心价值在于降本与增收。概率预测减少确定性偏差导致的运营损失：能源公司避免因预测偏差在现货市场高价购电；保险精算更准确，降低赔付波动。端到端模型成本远低于传统 NWP + 后处理流水线，且校准良好（spread-skill ratio 0.98），可直接作为决策依据，无需额外统计后处理。平均预报提升 4.2% 进一步增加边际收益。

与现有工作流的接口

该模型可作为微服务替换现有确定性 AI 预报模块，输出多成员集合兼容概率后处理流程（如 CRPS、分位数）。集成方式：

1. 部署模型服务，输入观测或再分析场，输出预测分布；
2. 暴露 MC dropout 采样开关与 encoder noise 配置，生成集合成员；
3. 通过 law-of-total-variance 分解输出观测不确定性与模型不确定性两个字段，供下游风险管理系统（如 VaR 计算）区分使用。

与现有气象 API（如 Open-Meteo）可并列，补充不确定性信息。相比传统集合预报，其显式分离 aleatoric 与 epistemic 不确定性，使下游系统能针对性处理观测噪声或模型缺陷，提升决策透明度。

局限

• **集合整体技能落后于 operational ECMWF ensemble**：论文承认其概率预报虽然校准良好，但在技能上仍落后于 ECMWF 集合预报，这可能源于端到端确定性基础模型（Aardvark）本身的预报精度限制。对于业务部署而言，如果基础确定性模型不够强，概率化带来的边际收益有限。需要进一步提升确定性预报能力或探索更强的集合生成策略（如 diffusion / flow 模型）。
• **Monte Carlo dropout 作为 `epistemic uncertainty` 代理存在局限**：dropout 的变分推断近似通常低估后验方差，尤其在输入分布偏移或极端事件下，可能无法充分表达预测分布的尾部风险。与基于扩散模型或贝叶斯神经网络的集合生成方法相比，该方法对不确定性的表达能力有限，且对 dropout rate 和网络结构敏感，可能影响不确定性估计的稳定性。
• **观测不确定性建模假设较强**：编码器的 learned input-dependent noise 采用简单参数化分布（如高斯），难以刻画真实观测系统误差的复杂结构（偏差、相关性、非高斯性）。此外，`withholding observation streams` 的交叉验证受限于可用的观测类型组合，不能全面评估观测不确定性传播。相比显式建模观测误差协方差的资料同化方案，该方法在物理可解释性和不确定性表征上仍有差距。