行业新闻

上海AI Lab提出Self-Harness,不换模型Harness自进化效果最高提升104%

Self-Harness让AI通过分析失败模式自动改进外层运行装置,实现了不换模型下性能的大幅提升。

上海AI Lab提出Self-Harness,让智能体外层装置(Harness,包在模型外的运行规则集合)通过分析自身运行轨迹、挖掘失败模式、提出修改并回归验证来自我改进,无需更换底层模型。在固定模型、工具、环境的Terminal-Bench-2.0上,Qwen3.5-35B-A3B效果提升104%,MiniMax M2.5提升28%,GLM-5提升24%。这展示了迭代Harness而非模型本身来提升Agent性能的新方向。

正文摘录

让 AI 自己改自己的 Agent Harness,这事已经被顶级 Agent 社区注意到了。 上海人工智能实验室团队提出的 Self-Harness,近期被 LangChain CEO、联合创始人 Harrison Chase 转发,也被 前 OpenAI 副总裁 Lilian Weng 收进自进化 Agent 相关博客。 做法很直接。模型先检查自己的运行轨迹,从失败里挖出模式,再提出有边界的 Harness 修改,最后交给回归测试决定要不要采纳。 实验结果显示,在 Terminal-Bench-2.0 上,底层模型、工具环境和评测协议都保持不变,只改 Harness,三个模型后端都拿到了 held-out 提升。 其中 Qwen3.5-35B-A3B 总提升达到 104% ,MiniMax M2.5 和 GLM-5 分别提升 28% 和 24% 。 Agent Harness 可以理解为包在模型外层的一套运行装置,覆盖系统提示词、工具使用规则、验证器、运行时控制策略和轻量 middleware。 在多轮工具任务里,它决定 Agent 怎么调用工具,什么时候停,失败后怎么恢复,产物又该如何验证。 过去,这套东西主要靠工程师手调。要读大量执行轨迹,找失败原因,改提示词或工具规则,再反复跑 benchmark。 系统先让当前 Harness 驱动固定模型完成一批任务,记录完整执行轨迹、工具调用和评测结果。 失败样本不会被当成孤例处理。Self-Harness 会结合验证器反馈、Agent 行为和失败之间的因果关系,把可复用的失败机制聚起来。 这样,“某个任务没过”会变成“这一类失败可能来自同一种 Harness 缺陷”。比如缺少最终产物、重复执行无效命令、工具报错后不恢复,或者探索太久却迟迟不进入实现。

阅读原文(qbitai.com)→

行业新闻Jay2026-07-19原文

相关内容