UI-KOBE: 面向知识的轻量级图引导GUI代理行为探索

TL;DR UI-KOBE 为轻量级移动 GUI 智能体构建可复用的 APP 知识图谱，用结构化探索与图引导决策替代纯端到端规划，让低资源模型也能可靠执行设备端任务自动化。

问题

移动端 GUI 代理的部署困境

当前移动 GUI 自动化任务主要依靠**大型视觉语言模型 (LVLM)**进行屏幕理解和长程规划，但高推理成本和隐私风险使其难以直接部署在移动设备本地。

现有轻量方案的局限性

将小型模型直接用于端侧 GUI 代理时，会出现明显的可靠性问题：

• 模型容量不足：仅凭单张截图输入，轻量模型难以准确理解复杂 UI 状态和操作语义，错误率随任务步长快速上升。
• 缺乏结构化先验：没有应用页面间的跳转关系、输入字段约束等知识，每一步决策都需从零推理，造成探索效率低、规划不稳定。
• 纯探索式方法不可靠：随机或规则化的 UI 探索容易陷入循环、状态覆盖不全，无法提供高质量的可复用知识。

问题的技术重要性与挑战

随着移动设备隐私保护需求提升和实时辅助场景增多，端侧可部署的轻量 GUI 代理成为业界关注焦点。核心难点在于如何在有限推理能力下，为轻量模型注入足够的环境知识，使其在高维、动态的 GUI 空间中进行可靠规划。

这类似自动驾驶中高精地图与轻量车载模型的协同：预先构建的路网拓扑和静态规则为有限算力的感知系统提供了强先验，从而降低端到端推理负担，提升决策的可解释性与鲁棒性。

UI-KOBE 通过自主探索构建应用知识图谱，将 UI 状态的转移关系显式化，在运行时为轻量代理提供图引导决策，正是对这一挑战的系统性回应。

核心洞察

• **以应用知识图谱替代端到端视觉规划**：UI-KOBE 将原本由大 VLM 承担的通用截图理解与长程规划，转化为一次性的离线图构建与轻量级的在线图检索‑匹配过程。这种分解使小模型不必同时处理视觉感知、语义理解和多步推理，只需依赖结构化先验即可做出可靠决策，显著降低了对模型容量和推理成本的要求，为隐私敏感的端侧部署提供了工程上可行的路径。
• **动态回退与局部自由动作的组合决策机制**：在常规的基于图导航中，代理一旦偏离已知路径就容易被困。UI-KOBE 引入自循环动作、邻居转移、任务完成判定和回退自由动作四种选项，允许代理在图中进行多粒度探索，同时利用运行时记忆追踪进度，在保持图谱引导稳定性的同时兼顾了对未知界面的适应性，这种混合式行为空间设计比单纯的录制重放或完全自由探索更切合实际 APP 的交互不确定性。

方法

UI-KOBE 方法论围绕 应用知识图 的构建与运行时利用，为轻量级移动 GUI 代理提供结构化引导。

输入

• 待探索的 Android 应用（APK）
• 用户任务指令（如“在设置中启用深色模式”）
• 当前设备截图

关键模块与流程

1. 自主探索与图构建 框架首先通过无监督交互遍历应用：

• 节点定义：将每一张截图经 UI 状态识别 模块（基于视图树与视觉特征）抽象为图中的节点，相同 UI 状态去重。
• 边定义：执行一次 GUI 动作（点击、滑动、输入）后，若页面发生状态转移，则记录一条有向边，标注动作类型与参数。
• 图优化：包括 图审计（检测并修复不一致的转换）、边归一化（合并等价动作）和 覆盖率导向的重探索（针对未充分访问的状态再次探索）。

2. 运行时图引导决策 轻量级代理（如小型 VLM）接收到新任务后：

• 节点定位：将当前截图与图中节点匹配，定位到对应节点。
• 动作约束选择：从该节点关联的 自循环动作（同页面内操作）、邻近转换（导航到相邻状态）、任务完成 或 回退自由动作（图中未覆盖的动作）中，依据任务上下文做出选择。
• 进度记忆：代理维护运行时状态轨迹，防止循环并追踪任务进展。

输出

代理输出最终的动作序列，完成任务并终止。

与同类方法的差异

不同于依赖大视觉语言模型端到端规划的方案，UI-KOBE 将应用的结构化交互知识外化为图，使轻量级模型只需在受限的动作空间中做出低层次决策，显著降低了对大模型的依赖与推理开销。

实验

实验设计

UI-KOBE 在 AndroidWorld 和 A3 两个移动 GUI 任务基准上进行评估。实验选取参数量较小的视觉-语言模型（VLM）作为基础智能体，首先对目标 App 执行自主探索以构建知识图谱，该图谱的节点为可区分的 UI 状态，边为可执行的屏幕转换操作。运行时智能体根据当前截图定位图谱节点，并在该节点关联的自循环动作、相邻转换、任务完成或回退自由动作中选择下一步操作，从而将端到端规划降级为图谱指导下的局部决策。对比基线包括同体量但无图谱引导的端到端智能体，以及依赖大型 VLM 的强基线智能体。

关键发现

引入知识图谱后，轻量级智能体的任务成功率得到显著提升，尤其对多步、长程任务改善更为明显。图谱提供的外部结构化引导有效减少了漫无目的的探索性试探，使模型在熟悉的 UI 状态间可靠跳转。自循环动作可以帮助智能体在页面内完成局部操作（如滚动、勾选），相邻转换则实现了页面间的快速导航，而回退自由动作保证了图谱覆盖不全时的兜底能力。此外，图谱的重用性使同一 App 上的不同任务能够共享探索成果，进一步降低了端到端规划的负担。

与基线对比深度解读

纯端到端的轻量级智能体因模型容量限制，常会在复杂交互中陷入错误循环或无法维持任务进度。UI-KOBE 通过预构建的 App 语义图谱将规划空间从全屏视觉理解压缩为有限的可行动作集合，从而大幅缩小了轻量级模型的决策难度。与大型 VLM 智能体相比，UI-KOBE 在推理成本和隐私保护上具备明确优势（模型可本地部署），但在完全未见过的任务或图谱未覆盖的状态上仍可能逊于大模型的零样本泛化能力。整体而言，UI-KOBE 展示了一条 “图谱知识 + 轻量模型” 的实用路线，为可解释、高效且隐私友好的端侧 GUI 智能体提供了新参照。

行业影响

落地场景

UI-KOBE 面向需要端侧自动化的移动场景，尤其适合 隐私敏感型任务（如金融 App 内转账、医疗数据查询）和 频繁重复的操作流程（如电商平台批量上下架商品、社交媒体多账号内容发布）。产品形态上，可嵌入 移动智能助手（如系统级 AI Agent），实现“一句话完成跨应用操作”；也可作为 无障碍服务组件，辅助视障用户通过语音指令导航复杂 UI。此外，移动端 RPA（机器人流程自动化） 是企业级应用的另一方向，用于自动化内部审批、数据录入等步骤固定的业务流程。

商业价值

通过 轻量模型 + 知识图谱 的组合，UI-KOBE 在 推理成本 与 任务成功率 之间取得平衡。主要价值体现在：

• 降低推理开销：端侧小模型（<3B）即可工作，无需调用云端大模型，节省 API 费用与网络延迟；
• 提升任务可靠性：图谱提供明确的动作候选集，将开放式规划转化为受限选择，减少模型幻觉导致的操作错误，直接提升用户体验与自动化流程的完单率；
• 隐私合规：全部计算留在设备端，符合 GDPR 等法规要求，避免敏感界面数据外传，为金融、医疗等严格监管行业提供合规自动化方案。

与现有产品/工作流的接口

集成方式上，UI-KOBE 的核心是 预构建的 App 知识图谱 + 轻量推理模块，可封装为：

1. SDK / AAR 组件：供 App 开发者集成，在应用内提供“智能操作助手”功能；
2. 系统级服务插件：集成到 Android Accessibility Service 或 iOS 的 Per-App Settings 框架中，成为系统自动化引擎的一部分；
3. 现有 RPA 平台的移动端扩展：与 UiPath、Appium 等工具的移动模块对接，图谱作为场景模型导入，替代人工录制，实现更鲁棒的跨版本自动化。

具体落地用例：

• 电商运营：运营人员下发“将所有滞销商品加入促销活动”指令，代理在卖家中心 App 内自主导航至商品管理页，逐条执行操作，无需人工盯屏。
• 企业移动审批：在内部 OA 应用中，代理根据通知自动打开待办列表，提取关键信息并完成多级审批操作，大幅缩短流程耗时，且所有数据留存在员工设备，避免审批内容泄露。

局限

• **知识图谱覆盖不完整**：UI-KOBE 依赖自主探索构建应用知识图谱，但探索过程受限于预定义的探索策略和动作空间，可能无法访问应用的深层功能、动态内容或需要特定前置条件的 UI 状态，导致运行时某些任务因缺少对应节点或边而失败。论文在实验部分也指出部分失败源于 incomplete graph coverage，未来需更智能的探索以提升覆盖率。
• **维护成本与应用更新适应性问题**：应用版本迭代会改变 UI 布局和交互逻辑，导致预先构建的图谱失效，需要重新探索和构建。论文未讨论图谱的增量更新或版本兼容机制，实际部署中频繁重新探索会带来额外开销，尤其当应用数量较多时，可扩展性受到挑战。
• **轻量模型的双重限制**：尽管图引导减轻了规划负担，运行时仍依赖轻量模型进行节点识别和少量决策，模型本身的感知和推理能力仍是瓶颈。复杂任务或长流程中，单个节点的误判可能累积错误，且 fallback 机制依赖 free actions，在高度约束的 UI 中可能无效。与大型 VLM 代理相比，UI-KOBE 在需要深度理解和推理的任务上仍存在性能差距。