浙大、快手等开源MobileForge 无需人工标注实现GUI Agent自适应
MobileForge让手机AI操作员无需人工标注,在真实App中自学会适应新界面,实现数据自循环。
手机GUI Agent(能看屏幕、点按钮、输文字完成任务的AI)在真实App中常因界面变化快而难适配。浙大、快手等团队提出MobileForge,让Agent在目标App中自动探索、生成任务、评估自身执行并优化策略,全程无需人工标注。在AndroidWorld上,它把Qwen3-VL-8B的Pass@3提升到67.2%,接近专用模型。
正文摘录
.jpg)  大模型驱动的手机 GUI Agent 已经能够理解屏幕、点击按钮、输入文本并完成一系列移动端任务。但一旦进入真实应用场景,一个核心问题就会暴露出来:手机 App 数量庞大、更新频繁,功能和界面变化很快。如果每适配一个 App 都要人工编写任务、录制专家轨迹、标注奖励信号,那么成本会迅速失控。 来自 浙江大学 APRIL 实验室、快手主站技术部 和 清华大学 的研究团队提出了 MobileForge ,试图把手机 GUI Agent 的适配过程变成一个 “ 无标注、自探索、自反馈、自优化” 的闭环系统。 论文题为 MobileForge: Annotation-Free Adaptation for Mobile GUI Agents with Hierarchical Feedback-Guided Policy Optimization。它的核心思路可以概括为一句话:让 Agent 在真实目标 App 中探索功能、自动生成可执行任务、对自己的执行过程进行分层评估,再把这些反馈转化为可训练的策略优化信号。