FairRSFM:面向遥感基础模型的生物群系感知基准与去偏框架

TL;DR FairRSFM 构建生物群落感知基准，揭示遥感基础模型聚合指标掩盖生态区域性能差异，并提供 BOLP、DBR、GroupDRO 等去偏方法，在不更新骨干下诊断与缓解鲁棒性缺口。

问题

问题背景

遥感基础模型（RSFMs）近年来在土地覆盖分类、作物类型识别等下游任务上表现优异，但评估体系仍以聚合指标（如整体 macro-F1、mIoU）为主，难以反映模型在不同生态区域的真实表现。

现有方法局限

• 聚合评估掩盖了生物群系级别的性能差异：例如 Prithvi-EO-2.0 在 m-EuroSAT 上总体 macro-F1 达 90.98%，但平均最差组分数仅 83.72%，表明某些生态组（如 Xeric and Mineralogical）严重掉点。
• 现有基准缺少统一的 biome 元数据 和组标签构建方案，研究者难以系统比较不同 RSFM 的生态鲁棒性。
• 常见 debiasing 方法（如 GroupDRO）需要组标签且通常要求更新骨干，计算开销大，容易破坏预训练表征的通用性；而轻量方法如 Linear Probing 往往未显式利用生态组信息，公平性提升有限。

为什么这个问题难/重要

遥感数据具有天然的生态异质性：不同生物群系的光谱、纹理、物候特征差异极大，模型在某一生态组学到的特征难以迁移到其他组。公平性缺口不只影响 benchmark 分数，更直接影响环境监测、精准农业、灾害评估等实际部署的可靠性。业界对负责任 AI 的关注已从人脸、语言扩展到遥感，亟需可复用的诊断和缓解工具。

行业类比

类似人脸识别在不同肤色或光照条件下出现性能偏差，遥感模型也需要关注“生态群组”公平性，否则在特定生物群系上会悄悄失效。

核心洞察

• FairRSFM 的核心贡献是把生态公平性引入遥感基础模型评估，用生物群系宏组替代传统的地理区域或人口统计分组，揭示聚合指标掩盖的性能差距。这个角度的独特之处在于：现有 RS 研究通常只报告整体精度，或按气候带/行政区粗略划分，而 FairRSFM 将 14 类陆地生物群系归并为六个生态学意义的宏组，并统一冻结骨干评估协议，使跨数据集、跨模型的最差组性能可直接比较。对工程实践而言，它迫使从业者关注模型在特定生态区域（如干旱/矿物组）的失效模式，而非盲目信任平均指标。
• 论文在冻结骨干前提下对比三种去偏基线（BOLP、DBR、GroupDRO），证明公平性干预的效果高度依赖模型架构和下游任务，不存在通用解法。这不同于以往常见的全模型微调去偏工作，它强调保持预训练骨干不变，通过线性探测、重加权或正交投影来缓解组间差异，计算成本低、部署风险小。例如 BOLP 仅在 m-BigEarthNet 上将 Prithvi-EO-2.0 的最差组 F1 从 46.12% 提升到 50.27%，但其他组合不一定有效，提醒工程师需要做组合级验证。
• FairRSFM 提供了可复用的数据管道（biome metadata schema + georeferenced mapping），让现有遥感数据集无需重标注即可获得生态分组标签，降低了公平性评估的落地成本。这个设计区别于从头构建平衡数据集的做法，它把重点放在元数据层，允许用户对 m-EuroSAT、m-BigEarthNet 等主流基准快速叠加分组视角，复用已有模型评估流程。代码和数据集开放，便于复现并扩展到更多 RSFM，为后续生态公平性研究建立了基准。

方法

输入

FairRSFM 接收两个核心输入：

• 遥感基础模型 (RSFMs) 的 冻结骨干 提取的 patch 级特征，涵盖 Prithvi-EO-2.0、SatMAE、DOFA 三种架构，每个模型在 3 个随机种子下运行。
• 带地理参考的样本及其 生物群落标签：原始 14 类陆地生物群落被映射到 6 个生态宏组（如热带森林、温带、干旱/矿物组等），来自四个下游数据集：m-EuroSAT、m-BigEarthNet、m-SA-Crop-Type、MMEarth20K（使用 Dynamic World 标签图）。

关键模块

1. 统一冻结骨干评估协议：所有 RSFM 骨干保持冻结，仅训练轻量下游头（线性探测或分割解码器），以避免不同微调策略引入偏差。评估指标包括聚合指标（overall macro-F1、mIoU）与 组级指标（mean worst-group score、每组 F1/mIoU），后者用于暴露聚合分数掩盖的生态区域性能差异。
2. 去偏框架（三种互补基线）：
   • DBR (Dynamic Biome Reweighting)：在训练过程中根据验证集上各生物群落组的性能反馈，动态调整样本损失权重；更新频率和缩放系数由超参数控制。
   • BOLP (Biome-Orthogonal Linear Probing)：计算生物群落标签的主方向，将冻结特征投影到其正交子空间，再训练线性分类头，从而剥离与生物群落相关的混杂信息，仅保留任务判别特征。
   • GroupDRO：组分布鲁棒优化，显式最小化最差生物群落组的损失，以提升尾部组性能。

输出

• 生态组级性能报表：展示每个生物群落宏组的 F1/mIoU，以及聚合指标 vs 最差组得分之间的差距。
• 去偏后模型指标：例如 BOLP 将 Prithvi-EO-2.0 在 m-BigEarthNet 上的 worst-group F1@opt 从 46.12% 提升至 50.27%，且无需更新骨干。

与同类 RSFM 公平性工作相比，FairRSFM 首次将生态区域作为显式分组变量贯穿评估与去偏，并提供不更新骨干、易于复用的正交投影基线，而非仅在数据层面重采样或后处理。

实验

实验设计

FairRSFM 在 m-EuroSAT、m-BigEarthNet、m-SA-Crop-Type、MMEarth20K 四个下游数据集上，对 Prithvi-EO-2.0、SatMAE、DOFA 三个遥感基础模型统一采用冻结主干 + 线性探测评估。样本按 14 个陆地生物群系映射到六个生态宏组，报告整体指标与最差组指标，采用三个随机种子。

关键发现

聚合指标系统性地掩盖了生物群系间的性能差异。例如 Prithvi-EO-2.0 在 m-EuroSAT 上整体 macro-F1 达 90.98%，但 mean worst-group 仅 83.72%；在 m-SA-Crop-Type 上，整体 mIoU 为 27.30%，而 Xeric and Mineralogical 组的 mIoU 骤降至 18.47%。去偏方法中，BOLP 在 m-BigEarthNet 上将 Prithvi-EO-2.0 的最差组 F1@opt 从 46.12% 提升到 50.27%，且无需更新主干。

与基线对比的解读

DBR、BOLP、GroupDRO 的效果呈现模型与任务依赖性，单一去偏策略无法普适。BOLP 通过正交投影抑制生物群系相关特征，对部分架构提升明显，但并非对所有模型有效。这提示 RSFM 社区应在评估流程中纳入生态群组鲁棒性诊断，并在模型选择与部署前进行更细粒度的群组级验证，避免仅依赖聚合指标导致高风险区域的性能盲区。

行业影响

落地场景

FairRSFM 可直接嵌入遥感基础模型（RSFM）的评估与监控环节，面向精准农业、生态监测、灾害响应、碳核算等业务。例如，全球农业科技公司的作物分类模型若未做生态分组校验，可能在干旱/矿物土壤地区给出错误种植建议。FairRSFM 提供的 biome-aware 基准可作为上线前的压力测试，识别模型在哪些宏观生态区最脆弱。

商业价值

• 风险控制：聚合指标常掩盖差异——报告中 Prithvi-EO-2.0 在 m-EuroSAT 上宏观 F1 达 90.98%，但最差组均值仅 83.72%；若直接部署到边缘区域，误分类可能带来农险理赔偏差或生态补偿计算错误。用 FairRSFM 提前暴露脆弱点，可避免后期返工和声誉损失。
• 市场扩展：提升模型对冷门生态区的鲁棒性，可扩大可服务地理范围，增加收入。
• 合规审计：作为模型公平性审计工具，满足监管或客户对生态偏差的要求，增强信任。

与现有工作流集成

FairRSFM 复用 frozen-backbone 评估协议，无需重训骨干网络，可无缝接入现有 MLOps 流水线：

1. 在数据集侧，直接使用 m-EuroSAT、m-BigEarthNet 等带 biome 标签的版本，或通过提供的映射函数为自有 georeferenced 样本打标签。
2. 在评估阶段，用 mean worst-group score 替代单一聚合分，作为模型选型或超参调优的额外指标。
3. 针对脆弱组，可调用论文中的 BOLP（Biome-Orthogonal Linear Probing）或 GroupDRO 进行轻量去偏，与现有 PyTorch / torchgeo 训练栈兼容。

具体落地用例

• 精准农业：某全球农服平台使用类似 m-SA-Crop-Type 的作物类型分割模型指导变量施肥。若模型在 Xeric and Mineralogical group 的 mIoU 从 27.30% 跌至 18.47%，导入 FairRSFM 后，可定向增加该组样本权重或采用 BOLP 微调分类头，使最差组性能回升，减少错误施肥导致的成本浪费。
• 灾害应急：山火或洪水快速制图依赖土地利用分类模型。若模型在特定生态区（如热带稀树草原）漏检水体，将延误救援。集成 FairRSFM 的 GroupDRO 训练后，模型可在所有宏生态组保持稳定精度，降低应急响应风险。

局限

• **评估范围有限**：论文仅使用 **Prithvi-EO-2.0**、**SatMAE**、**DOFA** 三种 RSFM 和四个下游数据集，且所有实验均在 **冻结骨干** 条件下进行。未探索微调（fine-tuning）对生物群系公平性的影响，因此无法判断去偏方法在真实部署中（通常会微调骨干）的表现上界。此外，三个随机种子可能不足以捕获模型训练的方差，结论的统计稳健性有待加强。
• **生物群系划分与地理覆盖存在偏差**：将 14 个陆地生物群系合并为 6 个宏群，虽然提升了统计功效，但可能掩盖宏群内部的生态异质性，例如 **Xeric and Mineralogical** 群组包含多种差异显著的干旱和矿物地貌。同时，所用数据集（如 **m-EuroSAT**、**m-BigEarthNet**）主要来自欧洲，全球代表性不足，某些热带或极地生物群系样本极少甚至缺失，可能低估真实的性能差距。
• **去偏方法创新性有限且依赖调参**：所提出的 **BOLP**、**DBR** 和 **GroupDRO** 均为已有技术或简单变体，缺乏针对遥感特性的本质改进。实验表明这些方法的效果**高度依赖模型和任务**，例如 BOLP 在 m-BigEarthNet 上有效，但在其他任务上可能无效甚至有害。实际工程中需要针对每个任务单独调参，增加了落地成本，且缺少统一的自动化选择策略。