UrbanGround: 从局部感知到真实尺度城市中的空间能动性

TL;DR UrbanGround 构建首个真实尺度的香港 3D 城市沙盒，评估 MLLM 智能体从局部感知到空间导航的能力，揭示局部能力难以组合为持续目标导向行为。

问题

问题背景

多模态大语言模型(MLLMs)在视觉识别、视觉问答等任务上已展示出局部场景理解能力，研究者正将焦点转向具身空间智能：模型能否在真实尺度的城市环境中，从第一人称视角持续感知并采取行动，而不仅仅是回答静态图像问题。

现有方法局限

现有评估大多在简化游戏环境(如小型室内地图)或静态街景图像问答上进行。闭环交互不足：智能体无法通过在环境中移动来验证和修正感知结果；物理约束缺失：缺少行人、天气、时间变化等真实动态，导致模型在局部任务上看似可用，但长距离导航时误差累积，无法组合成持续的目标导向行为。这与真实城市部署的差距显著。

为什么这个问题难/重要

城市环境具有大规模地理空间、动态路网和不完全观测等特性。智能体必须将局部感知维持为稳定的空间表征，并在路径变化或行人干扰时动态重规划。业界关注自动驾驶、机器人配送、AR导航等场景，这些都需要智能体在开放城市中可靠移动。UrbanGround 提供了基于真实三维地理空间数据、支持第一人称闭环交互、包含行人和天气仿真的沙盒，使系统评估空间能动性 (spatial agency) 的不同层次成为可能。

行业类比

该问题类似自动驾驶中感知模块与规划模块的集成：如果局部感知不能稳定地支撑全局路径决策，整个系统将在长时间运行中失效。

核心洞察

• 评估范式从静态视觉问答转向动态闭环空间代理评估。现有 MLLM 基准大多在单帧图像或短轨迹上测试，而 UrbanGround 构建了基于真实 3D 地理数据的城市沙盒，要求 agent 在第一人称视角下连续探索并完成目标导向任务。这种物理约束下的闭环交互暴露了局部感知能力与持续空间行为之间的鸿沟，是传统孤立能力测试无法捕捉的。
• 实验揭示局部能力与全局行为之间存在组合性失败。模型在视觉识别和短距离空间推理上表现尚可，但在长距离导航中错误不断累积且缺乏有效自校正，最终导致目标导向行为崩溃。这一发现不同于以往只报告单任务准确率的工作，它系统量化了能力从原子技能到持续规划的衰减路径，为改进空间记忆和规划机制提供了明确靶点。

方法

输入

UrbanGround 接收多模态大模型 agent（如 GPT-4V 等）作为被评测对象，输入由第一人称视角 RGB 图像、交互式地图和任务指令组成。

关键模块

• 地理空间层：基于香港全域 3D 地理空间数据构建真实尺度城市副本，保持真实道路拓扑与物理距离约束。
• 模拟层：提供具身物理约束、时间/天气系统、行人群体仿真，生成动态城市环境。
• 代理层：定义闭环观察空间（第一人称视觉）与动作空间（移动、旋转、地图查询），agent 在环境中持续交互采样。
• Spatial Agency Evaluation Ladder：五级递进评估——本地环境理解、显式指令导航、隐式指令探索、多任务规划、动态环境交互，覆盖从局部感知到长程目标导向行为的完整链路。

输出

通过 closed-loop 任务运行，输出定量指标（如成功率、路径效率）与定性失败分析。结果表明 MLLM 本地感知能独立完成视觉识别与短距离空间推理，但无法组合为持续的目标导向行为；定位误差在长程探索中累积且缺乏有效修正。

原文论断：“local abilities do not compose into sustained goal-directed behavior and errors accumulate without effective correction.”

跟同类方法的差异点：与现有游戏环境或静态 VQA 评估不同，UrbanGround 在真实尺度城市副本中引入物理约束、行人与动态变化，强调闭环空间代理而非单帧感知。

实验

实验设计

UrbanGround 以 territory-wide 3D geospatial data 构建 1:1 香港城市副本，提供第一人称闭环交互与可导航地图。评估遵循空间能动性阶梯：从局部环境理解（视觉识别、方向理解、主动探索问答），到显式指令导航（短/长程目标、指令、约束），再到隐式指令探索、多任务规划（时间窗、多停靠）、动态环境交互（道路关闭重规划、行人避让）。

关键发现

• RQ1：MLLM agents 在主动观察后能回答局部空间问题，局部 grounding 尚可。
• RQ2：随目标距离变远、指示变隐式，导航失败率上升；错误在长程探索中累积，缺乏有效纠正。
• RQ3：路线变化与行人运动下，方向感和行人感知运动不可靠。

当代 MLLM agents 的局部感知原子能力有用，但无法组合成持续的 goal-directed behavior。

与基线对比及工程启示

相比游戏环境（如 WebShop / ALFWorld）或物理世界数据集，UrbanGround 引入真实尺度、物理约束、行人流与天气系统，更贴近开放城市部署。其评估揭示：仅依赖单步视觉问答的 agent 在长程任务中性能下降严重。工程上应考虑引入显式空间记忆、全局重规划、行人轨迹预测，而非仅优化局部感知模块。

行业影响

落地场景

UrbanGround 适合三类产品:具身配送机器人闭环导航测试、AR/VR 城市导览空间问答、自动驾驶仿真评估。真实尺度城市孪生环境提供物理约束与动态行人高保真测试。

商业价值

降低部署前验证成本:无需实地采集街景即可测试 MLLM 空间推理与导航策略。为地图问答、零售选址等空间智能 SaaS 提供模型能力基线,减少“实验室可用、真实环境失效”的返工。可作为模型质量门禁。

与现有工作流集成

作为现有 MLLM 评估框架的扩展后端:通过 Python API 将任务转化为模拟器交互;对 RL 训练输出轨迹作为 preference data 或 reward。GitHub 提供视觉输入与动作空间标准接口,便于对接云上推理服务。

具体用例

1. 即时配送平台:测试配送机器人从“商场门口”到“顾客楼下”的导航,评估道路施工与密集行人反应,替代部分路测。
2. 自动驾驶供应商:注入时间/天气变化,回放感知模块对未见过路况的空间推理,作为 ODD 扩展前安全预检。

局限

• UrbanGround 虽然引入了天气、时间和行人系统，但城市几何结构基于静态 3D 数据构建，无法模拟临时施工、交通信号变化、移动障碍物等高频动态事件。观测空间仅包含视觉和地图信息，缺少声音、触觉等多模态输入，而真实城市导航常依赖这些线索。相比 Habitat 等平台，UrbanGround 的动态机制更偏向固定脚本，可能限制对代理在非预设扰动下鲁棒性的评估。
• 任务提示高度结构化，五级任务均采用固定指令模板，可能无法充分暴露 MLLM 在开放、模糊指令下的表现。评估指标以任务成功率为主，未深入分析路径效率、碰撞频率等行为质量维度。此外，自动评估依赖规则或 LLM 判断，其与人类评测的一致性尚未验证，可能导致结果偏差。与真实人类在城市中的多目标、多约束规划相比，现有任务集仍偏简化。
• UrbanGround 基于香港的 territory-wide 3D 地理空间数据构建，虽然真实，但场景单一，无法直接泛化到不同城市布局、道路风格和建筑密度。若研究者想复现或扩展到其他城市，需要重新获取并处理大规模地理数据，构建成本高。另外，沙盒的运行性能受限于 3D 渲染和物理模拟，大规模多代理实验可能消耗显著计算资源，限制了在资源有限环境中的快速迭代。