OVEarth-Bench：评估开放词汇地球观测的类别广度与查询多样性

TL;DR OVEarth-Bench 通过扩大类别覆盖与查询多样性，构建了更全面的开放词汇遥感理解基准，揭示通用 MLLM 整体领先而专用模型表现不足，为稳健评估树立新标准。

问题

问题背景

开放词汇地球观测 (Open-Vocabulary EO) 旨在根据自然语言描述定位遥感图像中的地理空间实体，突破了固定类别标签的限制，正成为遥感智能交互式分析的核心研究方向。

现有方法的局限

当前评估 OV-EO 的基准存在两大关键局限：

• 类别广度狭隘：现有数据集通常只包含少量常见地物类别 (如建筑物、道路)，缺乏长尾罕见实体及层次化类别结构，且极少引入负样本表达式，导致模型在封闭词汇下过拟合，难以反映真实语义空间的丰富性。
• 查询多样性不足：多数基准仅支持简单的名词性查询 (如“船舶”)，缺少指代查询 (如“靠近港口的那艘白色船舶”) 和推理查询 (如“可能发生洪水的低洼区域”)，无法评估模型对复合语言描述和视觉推理的能力。
• 零样本评估协议不统一：各家使用不同的训练和测试设定，使得通用模型与遥感专用模型之间缺乏公平、可重复的比较平台。

为何该问题困难且重要

技术挑战：遥感图像的俯瞰视角、多尺度、密集小目标与复杂背景与自然图像差异极大，通用视觉-语言模型直接迁移效果受限。与此同时，开放词汇定位要求对齐海量视觉特征与开放文本语义，而遥感领域缺少大规模图文对，进一步增加了模型泛化难度。此外，处理多样查询和负样本需要上下文推理与指代消歧，远超传统目标检测。 业界关注度：随着卫星星座和无人机数据爆发式增长，在灾害应急 (如定位洪水中的被困车辆)、城市规划等场景中快速发现任意目标已成为刚性需求，准确评估遥感基础模型与多模态大模型的泛化能力变得至关重要。

行业类比：如同自动驾驶感知系统需理解“在绿灯时允许左转”这类推理型指令，OV-EO 要求遥感理解从“看见”跃迁至定位任意复杂描述，推动开放式视觉推理能力的泛化与落地。

核心洞察

• 广泛类别覆盖暴露模型排名不稳定，仅用少量类别评估可能产生严重误导。现有 EO 基准通常覆盖数十个类别，而 OVEarth-Bench 引入超过 100 个层次化类别并同时包含正负样本表述，评测显示当类别集扩大时，模型相对排名发生显著变化——在窄类别集上靠前的方法可能大幅下滑。这说明可靠的开词汇 EO 评估必须基于大规模、多样化的类别体系，否则会高估方法泛化性并错误指导研发方向。
• 通用 MLLM 方法在开放词汇 EO 任务上全面超越 EO 专用模型，挑战了“领域特化带来优势”的惯性思维。评测中，SAM3、LISA 等通用多模态大模型取得最强整体性能，而 SegEarth、GeoPixel 等遥感专有模型反而表现平庸，甚至不及通用基线。这表明当前 EO 专用模型可能过度适应狭窄的预训练分布，无法应对开放的查询与类别多样性；反之，MLLM 的通用视觉语言对齐能力为其提供了更强的零样本泛化基准。未来的方法设计或许应更多借鉴通用模型的思路，而非盲目追求领域定制。

方法

基准构建流程

OVEarth-Bench 是一个专为开放词汇遥感 (Open-vocabulary EO) 设计的评估基准，目标是在统一的零样本 (zero-shot) 协议下，衡量模型对自然语言描述的 geospatial 概念定位能力。其构建遵循“输入 → 模块化处理 → 输出”的流水线。

输入：大规模遥感图像，来源涵盖多个公开数据集；一个预定义的广域层级类别体系，包含地物正、负表达文本。

关键模块

• 类别体系与查询设计
  构建了多层级类别树，覆盖广泛的遥感地物类别，并为每个类别生成正面和负面文本表达，以考察模型的 presence discrimination 能力。同时，设计了三种查询形式：词汇查询 (vocabulary)、指代查询 (referring) 和推理查询 (reasoning)，模拟从简单标签到复杂语义描述的多样化输入。
• 图像收集与标注
  收集包含不同场景的遥感图像，进行像素级掩码标注，并同步提供水平边界框 (HBB) 和定向边界框 (OBB) 两种定位标注，支持实例级评估。
• 查询生成流水线
  利用模板或大语言模型 (LLM) 自动生成自然语言查询，并与标注实例关联，确保查询与图像内容精准匹配。该流水线包含生成与验证两个阶段，保证查询质量。
• 评估协议
  统一采用零样本评估，模型在未见过该基准训练数据的情况下直接推理。支持掩码 (mask) 和框 (box) 两种定位输出，使用 micro-F1、MCC 等指标综合衡量分割与检测性能。

输出：OVEarth-Bench 数据集及配套评估工具，包含图像、标注、查询文本和评估代码，已在 项目主页 开源。

与同类基准的差异：相比现有遥感基准（如 DIOR-R、RSOD），OVEarth-Bench 不仅覆盖更多类别，更通过正负表达和三种查询形式，显著提升了评估的真实性与挑战性，有效暴露了目前开放词汇 EO 模型的不足。

实验

实验设计

• 在OVEarth-Bench上以统一零样本协议评估了三大类模型：通用开放词汇分割模型（如CLIP、CAT-Seg、GEM）、多模态大语言模型MLLM（如LISA、Sa2VA）、检测与定位模型（如GroundingDINO），以及遥感专用模型（如GSNet、SegEarth-OV、SkySense-O）。
• 基准覆盖广泛的类别体系，包含正面与负面概念表达，查询类型涵盖词汇查询、指代查询和推理查询，以全面考察类别广度和查询多样性。
• 同时支持掩码和边界框定位任务，采用分割指标（mIoU等）和检测指标（mAP等）进行评测。

关键发现

• 当前开放词汇EO方法的整体性能仍较低，表明该任务极具挑战性。
• 在更广泛的类别集合上评估时，模型排名趋于稳定，这验证了覆盖更大类别空间对构建可靠基准的重要性。
• 基于MLLM的方法取得了最强的总体性能，尤其是在复杂查询和推理任务上优势明显，说明大规模视觉-语言预训练对理解地理空间概念和语言多样性至关重要。
• EO专用模型普遍表现不如通用模型，很少能匹配最强方法，揭示了领域定制化方法在泛化能力上的不足。

与基线对比的深度解读

• EO专用模型相对于通用CLIP-based或MLLM方法并未展现出预期的领域优势。可能的原因在于：领域数据的规模与多样性不足，导致模型未能习得足够鲁棒的语义对齐；或架构设计过于依赖固定标签空间，限制了开放词汇理解的能力。
• MLLM方法通过海量图文预训练获得了强大的跨模态对齐能力，能够灵活处理多样化的自然语言查询，这一成功路径为未来的EO模型设计提供了明确指引：应积极借鉴通用视觉-语言模型的架构与训练策略，而非孤立地开发领域特化方案。
• 评测结果还显示，更广的类别覆盖能够降低评估中的排名波动，这对基准建设者而言意味着，若要获得可靠的模型比较结论，必须投入足够多且多样化的类别与查询设计。

行业影响

落地场景

开放词汇地球观测（Open-Vocabulary EO）可赋能多个行业将自然语言查询直接转化为遥感图像中的目标定位与分割。OVEarth-Bench 强调类别广度和查询多样性，这意味着模型能处理从“所有机场跑道”到“被洪水淹没的、附近的住宅区”等复杂描述，而不依赖固定标签集。典型应用包括：

• 保险与风险评估：理赔部门输入“受损屋顶”或“临时帐篷营地”，快速获取灾后损失范围，用于定损和资源调配。
• 智慧农业：作物保险公司或农企用“小麦田中倒伏超过30% 的区域”这类推理查询，自动评估受灾面积，替代费时的人工踏勘。

商业价值

OVEarth-Bench 揭示出现有方法整体性能有限，但 MLLM-based 模型表现最好，且类别覆盖越广、排名越稳定。对工业界意味着：

• 降本：减少专属模型重训练和标注成本。基于 MLLM 的通用方案（如 GroundingDINO、SAM3）可直接应用到遥感领域，省去为每个新类别采集大量标注数据的开销。
• 增收与体验提升：保险公司能更快响应客户报案，缩短理赔周期；农业平台可提供更精准的产量预估和风险预警服务，增强客户黏性。
• 技术路径更清晰：评测指出遥感专用模型未显著优于通用模型，企业可优先采纳基础模型微调或 zero-shot 推理，降低研发投入风险。

与现有产品/工作流的接口

集成方式可设计为轻量级 API 或模型服务，插入现有地理空间分析栈：

• 数据管道：卫星影像处理流程（如 Sen2Cor 大气校正后的 Sentinel-2 影像）后接开放词汇分割模型，将自然语言描述块转化为矢量轮廓（GeoJSON）。
• 平台插件：在 ArcGIS 或 QGIS 中新增查询工具，允许用户输入自然语言框选目标，后台调用 OVEarth 评测中表现稳定的模型（如 Sa2VA 或 Text4Seg），实时返回 mask/bbox，叠加到原有图层上。
• 评估与监控：利用 OVEarth-Bench 提供的统一协议和多样查询模板，定期对线上模型做回归测试，确保在新增地理场景或查询形式下的鲁棒性，避免出现类别敏感排序波动影响业务决策。

局限

• **零样本协议限制实用性**：基准仅评估零样本开集检测与分割，但实际遥感应用中常需在目标区域进行少量微调（如领域自适应），未考虑微调场景可能使模型排名偏离部署表现。算法工程师选型时需额外关注模型微调后的性能变化，基准未能提供此类指导。
• **自动化构建引入偏差**：查询生成依赖模板和验证流水线，难以覆盖真实用户语言的复杂性与歧义；标注质量取决于自动流程，可能存在漏标或错标。这导致基准的难度分布可能偏离实际需求，影响模型能力评估的可靠性。
• **类别覆盖仍偏向常见概念**：尽管扩展了类别广度，长尾稀有目标与复杂属性组合的覆盖有限；推理查询难度较低，未能充分测试模型对空间关系、逻辑组合等高级推理能力。这对需高精度识别复杂场景的产品设计参考价值不足。