行业新闻

阿里数据提出基准健康指数 BHI,为 158 个 LLM 评测基准打分

评测基准也会饱和失效,这篇给出量化「体检」方法,帮你在选基准跑分时判断分数还有多少参考价值。

模型分数越来越挤在一起、老题目可能已进预训练数据,评测基准本身开始「过期」。阿里数据团队从 117 份模型技术报告里筛出 158 个基准,用能力区分度、抗饱和度、影响力三个维度做体检,并给出一份可用性排名。

正文摘录

![](https://image.jiqizhixin.com/uploads/article/coverimage/7d88cd1e-232f-4f78-8606-640d36940d2c/090(2).jpg) ![图片](https://mmbiz.qpic.cn/mmbizjpg/5L8bhP5dIqFg0WfYlyqqeepLD4C3TibGpjf6FOH7EVuKjibcnDe74qjAU9XhgHylI3WghS7ricbx1ckkNhJHaQ2AnGqG5ZmOdwHJQLl99bxYHU/640?wxfmt=webp&from=appmsg&tp=webp&wxfrom=5&wxlazy=1imgIndex=0) 伴随模型能力提升,模型评测也面临着新的挑战。 部分评测基准已接近饱和,模型分数越来越难拉开差距,跑分的参考价值也随之下降。哪些基准仍然有效,测出的分数还能说明什么? 针对这一现状,来自 阿里数据 的研究团队在论文《Benchmark Health Index: A Systematic Framework for Benchmarking the Benchmarks of LLMs》中尝试给出答案,相关论文已被 NeurIPS 2026 Evaluations and Datasets Track(Oral)接收, 是本届该赛道的 15 篇 Oral 论文之一 。 团队基于 117 个模型的技术报告,整理并筛选出 158 个评测基准,提出基准健康指数(Benchmark Health Index,BHI),从 能力区分度、抗饱和度和影响力 三个维度,给评模型的「尺子」做体检,分析它们是否仍能提供有参考价值的模型比较结果。

阅读原文(jiqizhixin.com)→

行业新闻机器之心2026-10-31原文

相关内容