微软与 UCSB 提出 ScholarEvolve,用论文自动优化 Agent Harness
不训练模型,只让 Agent 自己读论文找方法、改代码验证,就把任务完成率提高了 14 个百分点。
Agent 遇到能力瓶颈时,除了训练更强的模型,还可以改进 Agent Harness(围绕模型运行的软件层,负责工具调用、上下文管理、记忆与任务规划)。UCSB 和微软提出 ScholarEvolve:让 Research Agent 去 arXiv 检索论文,再由 Coding Agent 把论文里的方法写成代码、在验证集上实测,只保留有效的改动。在不改动模型参数的前提下,Qwen3.5-27B 在 AppWorld Challenge 上的任务完成率从 49.6% 升到 63.6%。
正文摘录
.jpg)  AI Agent 能否像研究人员一样,从论文中学习? 最近两年,大语言模型的能力不断提升,一些 AI Agent 也逐渐能够处理复杂的任务,而这些 Agent 都是围绕大模型构建的。从调用工具、操作软件,到规划和执行多步骤工作流,Agent 已经不再只是处理简单的问答,而是能够独立解决需要调用多种工具的长程复杂任务。与此同时,每天也都有很多新的 Agent 领域 preprint 公开在 arXiv 中。 但一个现实问题随之出现:当 Agent 遇到能力瓶颈时,我们该如何让它变得更好? 最直接的办法是训练更强的模型。然而,Agent 的表现并不完全取决于底层模型。工具如何调用、上下文如何管理、经验如何复用,以及任务如何规划,都会影响最终的执行效果。 这些围绕模型运行的软件系统,通常被称为 Agent Harness。 近期,Meta Harness 等研究开始探索自动优化 Harness:让一个 Coding Agent 分析任务执行中的失败,再尝试修改 Harness 的代码,并通过实验寻找更好的版本。