PAGER: 弥合点精确几何GUI控制中的语义-执行鸿沟

TL;DR PAGER 瞄准 GUI 智能体在像素级精确几何操作中“语义强、执行弱”的鸿沟，通过拓扑感知的依赖规划与像素级强化学习，将任务成功率从不足 6% 提升至超过 62%。

问题

问题背景

现代 GUI 智能体借助视觉语言模型（VLM） 将操作界面抽象为可执行动作空间，在网页、移动与桌面上展现了广泛适用性，但大多数方法建立在区域容忍（region-tolerant） 假设之上，即允许在一个组件边界内的任意像素区域执行点击。

现有方法局限

• 主流 GUI 代理依赖语义匹配：识别“按钮”或“文本框”后，只要点击落在该组件内部，即便不是精确的几何中心也被视为有效。
• 在精确几何构建任务（如 CAD 绘图、矢量编辑）中，动作必须落在连续画布上的精确坐标点，区域容忍范式立刻失效——哪怕偏移几个像素也可能导致错误的线段起点或圆弧中心。
• 几何基元之间存在本体依赖（ontological dependencies）：一个点的位置定义了后续线、面的拓扑关系，局部的坐标误差会通过依赖链引发级联拓扑失败，使得最终图形完全变形或无法闭合。
• 实验揭示语义–执行鸿沟（Semantic-Execution Gap）：通用多模态模型的动作类型准确率（如选择“画圆”工具）可超过 88%，但任务成功率（最终图形正确）低于 6%。模型能正确理解指令语义，却无法将其转化为像素级精确的执行动作。

问题难度与重要性

• 点级精度：要求坐标预测的误差控制在几个像素内，这对视觉编码器的空间分辨率与坐标回归精度提出严峻挑战，远非传统的区域单击可比。
• 几何感知验证：执行结果必须通过拓扑一致性（如是否闭合、交点数量）来校验，而非仅依靠视觉相似度，这要求智能体具备结构化的几何知识。
• 依赖驱动错误传播的鲁棒性：步骤间形成依赖链，一个错误会级联放大，因此需要dependency-structured planning与状态敏感的纠正机制，对规划和执行的耦合提出更高要求。
• 该问题直接关乎 GUI 自动化能否从粗粒度交互拓展到精确构造领域，例如参数化建模、电路版图设计等，具有极高的工程价值与前沿学术挑战。

行业类比

就像机器人在高精度装配中要求末端执行器以亚毫米级精度到达目标点，而非简单地进入一个区域，在几何构建型 GUI 任务里，智能体也必须将屏幕坐标精准对齐到画布上的拓扑关键点，否则构建过程将一步错、步步错。

核心洞察

• **语义-执行差距（Semantic-Execution Gap）是精密几何 GUI 任务中的核心瓶颈**：通用多模态模型在动作类型上可达 88% 以上准确率，但任务成功率不足 6%。这表明，仅优化动作语义识别远远不够，坐标执行的精确性才是决定成败的关键。现有 GUI agent 基准大多在区域容忍（region-tolerant）范式下设置，严重高估实际能力。该发现推动工程上必须将评估重心从“动作类型正确”转向“最终任务完成度”，并引入像素级的过程监督信号，以真正弥合语义理解与精确执行之间的鸿沟。
• **拓扑感知的依赖结构化规划结合像素级执行是突破精密 GUI 任务的关键路径**：PAGER 不是端到端直接输出坐标，而是先将构造任务分解为具有依赖关系的子步骤（如先定位辅助线交点，再基于该点画圆），再用像素接地（pixel-grounded）的有监督微调建立可执行动作语法，最后通过精度对齐的强化学习消除 rollout 阶段的曝光偏差。这种设计打破了现有 agent 对“区域宽容”的依赖，将几何体间的本体依赖显式建模进决策过程。相比单纯扩大模型规模或收集更多区域级数据，这一结构先验大幅降低了级联拓扑错误的概率，为多步交互式几何构造任务提供了可复现的范式。

方法

输入与整体架构

PAGER 接收几何构造任务指令（如“绘制通过点 A 和 B 的圆”）以及GUI 画布截图，逐步输出一系列像素级精确的点击 / 拖动操作，在连续画布空间上构建几何图形。其核心创新在于将任务分解为依赖结构规划（Dependency-Structured Planning）与像素级执行（Pixel-Level Execution），以处理几何原语间的拓扑依赖，避免局部坐标误差引发级联失效。

依赖结构规划

规划模块分析任务语义，生成拓扑有序的构造步骤序列，明确每个几何原语（点、线、圆等）的前提条件与输出关系。这一步使模型在推理时即理解正确的构造顺序，确保前驱对象即使存在轻微坐标偏差，也不会导致后续对象完全变形，从而隔离误差传播。

像素级执行

执行模块根据当前画布状态和规划步骤，直接预测精确屏幕坐标（如 (x, y) 点击位置）。通过像素基础监督调优（Pixel-Grounded Supervised Tuning），模型在 224K+ 条像素级过程监督数据上学习可执行的动作语法，将高层意图（“画一条线段”）映射为具体的坐标序列，解决了通用 VLM 只能定位容忍区域而无法像素级精确定位的问题。

训练策略：监督学习 + 精度对齐强化学习

训练分为两个阶段：

1. 监督微调：在 PAGE Bench 数据集上进行行为克隆，使模型具备基本的像素操作能力。该阶段确立了动作格式与基础定位精度，但模型可能遭受曝光偏差——训练时依赖教师强制，推断时自身误差会逐步累积。

2. 精度对齐强化学习：引入完整的几何构造 rollout，基于状态条件几何反馈设计奖励——评估最终图元的拓扑正确性和坐标精度，而非单步动作匹配。这一阶段驱动模型从自身错误中恢复，学会在偏离理想路径时动态修正，从而大幅提升整体任务成功率（从通用基线不足 6% 提升至 62%+）。

与同类方法差异：不同于依赖区域容忍的 GUI 代理，PAGER 专攻点精确几何控制，通过拓扑感知规划与强化学习对齐，闭合了语义理解到位但执行失败的 Semantic-Execution Gap。

实验

实验设计

本研究构建了 PAGE Bench——一个面向精度敏感 GUI 任务的基准，包含 4,906 个问题与超过 224K 个过程监督的像素级 GUI 动作。评估对象涵盖三类模型：(1) 通用多模态大模型 (如 GPT-4V)；(2) 面向 GUI 的专用智能体；(3) 本文提出的 PAGER 智能体。PAGER 采用依赖结构规划将几何构建分解为有序子任务，并通过像素级监督微调建立可执行的动作语法，再利用精度对齐强化学习以减少 rollout 暴露偏差。所有实验均在 PAGE Bench 上以任务完成率与步骤成功率作为核心指标。

关键发现

实验揭示了一个鲜明的 语义-执行鸿沟 (Semantic-Execution Gap)：通用多模态模型尽管动作类型识别准确率超过 88%，但任务成功率低于 6%——因为局部坐标误差会沿着几何依赖链级联，导致整体构造失效。PAGER 通过拓扑感知的规划与像素级执行关闭了这一鸿沟：相较于最强通用基线，任务成功率提升 4.1×；步骤成功率从 GUI 专用智能体的不足 9% 跃升至 超过 62%。消融实验进一步证实，依赖结构规划与 RL 精细对齐各自贡献显著，二者缺一都会导致性能大幅下滑。错误分析表明，PAGER 能更早地检测并纠正拓扑不一致，从而阻断误差传播。

基线对比与工程启示

通用视觉-语言模型在区域容忍范式的传统 GUI 任务上表现尚可，但在需要连续画布空间点精确坐标的几何构造场景中暴露严重缺陷，凸显从区域到点精确的范式转变必要性。GUI 专用智能体虽然引入了动作空间抽象，却因缺乏几何依赖建模与精细坐标监督，步骤成功率极低。PAGER 的成功表明：

• 依赖结构先验对于多步精确几何任务是不可或缺的，可避免级联失败；
• 像素级监督与 RL 场景微调能有效缩小模型在训练-推理动作分布上的偏移；
• 工业级 GUI 自动化（如 CAD、图形编辑工具）必须重新思考动作表征，从离散区域选择转向连续坐标预测，并配套过程级校验机制。

行业影响

落地场景

PAGER 所解决的精度敏感型 GUI 操控问题，直接对应需要像素级几何约束的产品界面。典型场景包括：

• 在线 CAD/矢量绘图工具：在无限画布上通过连续坐标创建、连接几何图元，任何 1px 偏移都会导致拓扑错误；
• 高保真原型设计：在 Figma 或 Sketch 类工具中，精确对齐组件、调整贝塞尔曲线锚点；
• 软件自动化测试：需要点击指定像素坐标的复杂控件，而非容忍区域的近似定位；
• 教育类交互模拟：如几何画板 GeoGebra 的构图教学，每一步都要求坐标精确。

商业价值

• 降本：替代人工执行重复性高、精度要求严的 GUI 操作（如批量图形生成、测试用例执行），将操作失误率从通用 VLMs 的 >94% 降到 38% 以下；
• 增效：4.1 倍任务成功率提升意味着自动化流程可减少大量重试与人工干预，直接缩短设计迭代或测试周期；
• 体验提升：在辅助设计工具中，用户通过自然语言指令即可获得几何一致性保证的生成结果，无需手动修正精调，降低专业工具使用门槛。

与现有产品/工作流的接口

PAGER 可作为可嵌入的视觉-执行层集成到现有 GUI 自动化栈：

1. 与 RPA/测试框架集成：通过封装为 PixelActionExecutor 插件，替换现有框架的基于区域的点击/拖拽模块，提升精确控件的操作可靠性；
2. 与设计工具插件集成：作为 Figma 插件或 Web 设计器的后端服务，接收自然语言或结构化指令，返回一系列像素级动作序列，由控件的 canvas API 执行；
3. 训练与部署：微调阶段采用论文提出的像素接地监督调优与精度对齐 RL，可使用企业内部的标注数据（如记录的操作轨迹）继续训练，适应自有 UI 组件库。

具体用例

用例 1：电商活动页快速构造

运营人员用自然语言描述“在 800×600 画布中心画一个半径 120px 的红色圆，并在上方 20px 添加白色文字‘限时秒杀’”，系统通过 PAGER 自动分解为依赖结构化规划（先画圆再定位文字）和像素级执行，生成可直接导出的 SVG/PSD，较纯 VLMs 避免 90% 以上的坐标错位导致的排版重做。

用例 2：远程教育几何作图自动评分

学生提交在线几何画板的操作日志，系统以 PAGER 的拓扑感知验证机制评估每一步坐标的几何正确性，不仅判断最终图形是否闭合，还能识别过程中因依赖错误的级联失败，给出更细粒度的过程评分，替代纯人工检查，大幅提升批改效率。

局限

• **数据集与应用场景泛化性有限**：**PAGE Bench** 和 **PAGER** 主要围绕 **GeoGebra** 这类几何构造环境设计。尽管问题数量达 4,906 个，但任务集中于连续画布上的精确几何基元构建，对于其他需要像素级操控的精密 GUI 场景（如 CAD、电路设计或工业控制软件）的适用性尚未验证。不同软件的动作空间定义、基元依赖关系和视觉风格差异可能限制方法的直接迁移，实际部署时可能需要针对每个应用重新采集过程监督数据或微调。
• **对视觉感知与拓扑推理的鲁棒性不足**：方法将任务分解为依赖结构化规划与像素级执行，强烈依赖前端视觉模型准确解析 GUI 中的几何基元、坐标和拓扑关系。在截图像素模糊、界面元素遮挡或非标准渲染下，基元识别错误会通过依赖链向下游传播，导致构造失败。论文虽引入几何验证反馈，但未深入讨论如何应对感知噪声或对抗性界面变化，可能在实际工程中影响成功率。
• **训练成本与数据依赖较高**：**PAGER** 结合了**像素级监督微调**与**精度对齐强化学习**，训练过程需要大量过程监督的动作序列（>224K 步）。此类细粒度标注在真实业务软件的 GUI 自动化中获取成本极高，且 RL 阶段依赖精心设计的状态条件几何奖励函数，训练稳定性与超参数敏感性可能成为规模化部署的瓶颈。另外，从消融实验看，RL 的贡献在部分指标上并不显著，其必要性值得进一步审视。