阿里数据提出基准健康指数 BHI,为 158 个 LLM 评测基准打分
评测基准也会饱和失效,这篇给出量化「体检」方法,帮你在选基准跑分时判断分数还有多少参考价值。
模型分数越来越挤在一起、老题目可能已进预训练数据,评测基准本身开始「过期」。阿里数据团队从 117 份模型技术报告里筛出 158 个基准,用能力区分度、抗饱和度、影响力三个维度做体检,并给出一份可用性排名。
正文摘录
.jpg)  伴随模型能力提升,模型评测也面临着新的挑战。 部分评测基准已接近饱和,模型分数越来越难拉开差距,跑分的参考价值也随之下降。哪些基准仍然有效,测出的分数还能说明什么? 针对这一现状,来自 阿里数据 的研究团队在论文《Benchmark Health Index: A Systematic Framework for Benchmarking the Benchmarks of LLMs》中尝试给出答案,相关论文已被 NeurIPS 2026 Evaluations and Datasets Track(Oral)接收, 是本届该赛道的 15 篇 Oral 论文之一 。 团队基于 117 个模型的技术报告,整理并筛选出 158 个评测基准,提出基准健康指数(Benchmark Health Index,BHI),从 能力区分度、抗饱和度和影响力 三个维度,给评模型的「尺子」做体检,分析它们是否仍能提供有参考价值的模型比较结果。