动态

提出CER-C指标,从代理轨迹衡量召回效率

提出CER-C指标,从代理轨迹衡量召回效率
Abdallah Bashir
准确性本身并不能告诉你搜索代理是否高效。两个代理都能正确回答,但一个消耗50K token的上下文,而另一个只用20K就找到了证据。标准的IR指标衡量单次调用,它们对完整轨迹视而不见。

我们提出CER-C(累积证据召回),一种通过代理轨迹评估召回的指标:在固定的token间隔内,测量代理到目前为止找到的相关文档的比例。该曲线的AUC就是你的分数。无需LLM评判,只需真实标签。

经过训练的Fast(AUC=0.340)优于未经训练的Max(AUC=0.332)。使用最快工具训练的规划器比使用最强大工具但未经训练的规划器更快地收集证据。[4/n]
动态Abdallah Bashir2026-03-05原文

相关内容