不用人工标注,GUI Agent跑起「数据飞轮」:快手、浙大开源MobileForge
<img src="https://image.jiqizhixin.com/uploads/article/coverimage/ceaefd48-229c-4bdd-aafe-676be6a65cfd/034(2).jpg" referrerpolicy="no-referrer"<section<img data-src="https://mmbiz.qpic.cn/mmbizjpg/5L8bhP5dIqFg0WfYlyqqeepLD4C3TibGpjf6FOH7EVuKjibcnDe74qjAU9XhgHylI3WghS7ricbx1ckkNhJHaQ2AnGqG5ZmOdwHJQLl99bxYHU/640?wxfmt=webp&from=appmsgimgIndex=0" data-ratio="0.2657407407407407" data-s="300,640" d…
正文摘录
.jpg)  大模型驱动的手机 GUI Agent 已经能够理解屏幕、点击按钮、输入文本并完成一系列移动端任务。但一旦进入真实应用场景,一个核心问题就会暴露出来:手机 App 数量庞大、更新频繁,功能和界面变化很快。如果每适配一个 App 都要人工编写任务、录制专家轨迹、标注奖励信号,那么成本会迅速失控。 来自 浙江大学 APRIL 实验室、快手主站技术部 和 清华大学 的研究团队提出了 MobileForge ,试图把手机 GUI Agent 的适配过程变成一个 “ 无标注、自探索、自反馈、自优化” 的闭环系统。 论文题为 MobileForge: Annotation-Free Adaptation for Mobile GUI Agents with Hierarchical Feedback-Guided Policy Optimization。它的核心思路可以概括为一句话:让 Agent 在真实目标 App 中探索功能、自动生成可执行任务、对自己的执行过程进行分层评估,再把这些反馈转化为可训练的策略优化信号。