EarlyEval: 通过早期结果预测实现更廉价的 Agent 评估

TL;DR EarlyEval 利用 LightGBM 对 agent 中间行为做成功/失败分类，在置信达标时提前终止评估，以 89–97% 准确率削减 13–26% 步骤与大量 token，对排名扰动极小。

问题

LLM agent 评估 是开发迭代的关键反馈，但前沿模型单次跑完 agentic benchmark 成本可达数百至数千美元，频繁迭代下总开销不可忽视。

现有方法主要集中在 benchmark distillation，即通过子集采样减少评估任务数量，但每个保留任务的完整执行成本并未降低。这一路线的局限在于：1) 缩减任务集可能引入采样偏差，损害评估的统计代表性；2) 对单任务内部冗长的多步 agent 轨迹，蒸馏无法节省任何 step 或 token，而这些轨迹往往占成本大头。

早期结果预测需要从 agent 中间行为（行为特征、文本特征、参考解特征）可靠判断最终成功/失败，面临类不平衡、轨迹多样性、不同 benchmark 间分布漂移等挑战。同时必须保证预测准确率足够高，否则会显著扰动 per-agent 排名，误导开发决策。该问题的重要性来自业界对 LLM agent 持续集成与回归测试的刚需——评估成本每降低一个数量级，就能支持更多轮迭代验证。

类比 CI/CD 流水线中基于测试历史跳过冗余用例，或自动驾驶仿真里根据前几帧置信度提前终止无效场景，目标是在保证评估可信度的同时大幅压缩计算与 token 消耗。

核心洞察

• - 核心洞察：将评估降本从“减少任务数量”这一轴，扩展到“缩短每个任务内部执行长度”的正交轴。已有基准蒸馏仅筛选保留少量任务，每个保留任务的执行成本完全未变；EarlyEval 在单次 agent 运行中，根据中间行为特征动态预测最终结果并提前终止，因此可以与蒸馏方法叠加，带来额外且可组合的 Token 与步数节省。这一视角独特在于它不改变评估任务集合或最终指标计算方式，而是在执行阶段进行有界扰动的截断，对迭代开发中的高频评估尤为实用。
• - 核心洞察：用轻量级机器学习模型（LightGBM）替代 LLM judge 做在线结果预测，以极低开销换取高保真提前停止。传统早停或动态评估可能依赖另一个 LLM 判断是否继续，每次判断成本甚至高于被省下的步数；EarlyEval 利用行为、文本、参考解三类特征训练一对成功/失败分类器，并通过校准置信度阈值控制精度与节省率之间的平衡。独特之处在于将“评估 agent 是否成功”本身转化为一个可训练的、参数极少、推理近乎零成本的二分类任务，使早停机制首次具备实际可部署性，并报告了 89%–97% 预测精度下可消除 13%–26% 步数。

方法

输入与特征构建

EarlyEval 以 agent 执行轨迹作为输入，每步提取三类特征：

• 行为特征：步数、工具调用模式、失败/重试次数等
• 文本特征：中间推理、工具输出、错误信息的文本嵌入或统计量
• 参考解特征：与标准答案/参考轨迹的对齐度（如 diff 匹配度、测试通过状态）

关键模块：双分类器与提前停止

EarlyEval 训练两个 LightGBM 二分类器：

1. 成功分类器 P(success | 当前轨迹)
2. 失败分类器 P(failure | 当前轨迹)

每步计算两个分类器的置信度，若任一超过经校准的阈值（如 0.9），则立即停止 agent 执行，并输出预测结果（成功或失败）。若两者均未超过阈值，则继续执行下一步。校准过程根据验证集调整阈值，平衡召回与精度。

训练数据处理

训练轨迹来自历史 agent 运行记录，每条轨迹被截断至不同步数并标记最终结局（成功/失败），形成多个 (前缀, 标签) 样本。这样模型学习从任意中间状态预测结局。由于 LightGBM 推理开销极小，每步增加延迟可忽略。

输出与效率收益

输出为提前停止决策及预测标签。在三个 benchmark 上可减少 13%–26% 的执行步数，最高节省 44.1% 输入 token 和 29.4% 输出 token，预测准确率 89%–97%，且 agent 通过率仅平均波动 1–2 个百分点。

与同类方法的差异点：不同于 benchmark distillation 减少任务数量，EarlyEval 在每个任务内部通过提前终止降低执行成本，二者正交、可叠加。

实验

实验设计

论文在 SWE-bench Verified、TerminalBench 和 Toolathlon 三个代理基准上收集执行轨迹，训练一对 LightGBM 成功/失败分类器，特征包括行为、文本和参考解信息；当任一分类器超过校准置信阈值时提前终止 agent 运行。评估指标涵盖预测准确率、节省步骤、节省输入/输出 token 以及 resolve rate 扰动。

关键发现

• 预测准确率 89%–97%，可节省 13%–26% 的 agent 步骤。
• 输入 token 节省最高 44.1%，输出 token 节省最高 29.4%。
• 对每 agent 的 resolve rate 平均扰动仅 1–2 个百分点，排名保真度保持较好。

与基线对比

与以 benchmark distillation 为代表的减少任务数路线不同，EarlyEval 作用于单个任务内部，属于互补的效率轴：前者削减任务数量，后者削减每个保留任务的执行成本。相比蒸馏方法对任务级别选择的依赖，EarlyEval 利用中间行为信号，在保持高准确率的同时大幅降低 token 消耗，且额外开销低，适合迭代开发中的高频评估场景。

行业影响

落地场景

EarlyEval 适用于任何需要大规模、高频次评估 LLM agent 的团队，尤其在以下行业有明显切入：

• 电商客服 agent 测试：每次更新 prompt 或模型版本，需在数千条对话上回归。EarlyEval 可在对话中途识别出“无法解决用户问题”的会话，提前终止，节省推理成本。
• 企业服务 RPA agent：测试 agent 操作内部系统（如报销、工单流转）的多步流程，EarlyEval 能尽早判定失败轨迹，加速批量验证。

商业价值

核心收益是直接降本：在 SWE-bench Verified、TerminalBench、Toolathlon 上，EarlyEval 可消除 13%–26% 的 agent 步骤，最高节省 44.1% 输入 token 和 29.4% 输出 token，按当前 frontier model 价格，单次完整 benchmark 评估可省下数百美元。同时，更快的评估反馈缩短迭代周期，提升研发效率，间接转化为产品上线速度优势。预测准确率 89%–97% 且对 agent resolve rate 扰动仅 1–2 个百分点，意味着成本下降不以显著牺牲评估可靠性为代价。

与现有工作流集成

EarlyEval 以轻量级分类器（一对 LightGBM 模型）嵌入 agent 执行循环，可通过回调或中间件形式接入现有评估框架，如 LangChain、AutoGen 或自研 runner。集成步骤如下：

1. 采集历史 agent 轨迹，提取行为、文本、参考解特征。
2. 离线训练成功/失败分类器，并校准置信度阈值。
3. 线上部署时，每个推理步骤附加分类器推断，一旦越过阈值即 halt。

该方案无需改动 agent 本身或评测基准，对现有 stack 侵入性低，适合作为评测管道的可插拔优化层。

局限

• **泛化性局限**：EarlyEval 在 SWE-bench Verified、TerminalBench、Toolathlon 三个基准上验证，其 LightGBM 分类器依赖于特定 agent 框架和底层 LLM 产生的行为特征。当更换模型或 agent 架构时，特征分布会发生漂移，分类器性能可能下降。论文虽然在 RQ3 中探讨了特征可用性鲁棒性，但未充分讨论跨模型、跨任务类型的泛化能力。实际部署时，每个新配置都需要重新收集轨迹并训练/校准分类器，这会削弱成本节省的通用性，增加工程负担。
• **参考解依赖**：EarlyEval 的特征中包含 reference-solution features，这要求每个任务都能提供高质量的参考解。然而很多 agentic benchmark 或真实应用场景并不提供参考解，或参考解本身的获取需要额外成本（如人工标注或专家编写）。对于开放域任务、创意生成或没有单一正确答案的场景，该框架可能无法直接应用。论文未讨论如何去除参考解依赖或使用替代特征，限制了其适用范围。
• **预测误差对评估保真度的影响**：论文报告平均 per-agent resolve rates 扰动仅 1-2 个百分点，89%-97% 的准确率看似不错，但平均指标掩盖了极端情况。对于接近决策边界的 agent 或关键步骤，错误的提前终止可能导致排名变化，这在精细比较不同 agent 版本时会带来误导。尤其当评估用于发布 leaderboard 或关键决策时，3%-11% 的错误率可能不可接受。论文未分析最坏情况下的排名变化或置信度阈值的敏感性，实际应用需谨慎权衡。