Hugging Face 政策负责人：嵌入式评估器难成现成方案
Hugging Face 政策负责人谈模型评测现状：结果难复现、测试之间无法比较，因此第三方嵌入式评估器还不能当作可信方案。
AI 实验室把声誉押在模型基准测试上，但 Hugging Face 首席政策官 Irene Solaiman 指出，评估方法本身仍不成熟：结果难以复现、不同测试之间无法横向比较、评测标准也很快过时。她认为，嵌入式评估器是当下被寄予厚望的方向，但要真正可用，还需先建立行业统一的评估资格标准。
正文摘录
AI 实验室把自己的声誉押在了模型基准测试上——这本质上是一套号称中立、准确的评估体系，用来衡量某个 AI 产品是否比另一个更好。 不过，Hugging Face 首席政策官 Irene Solaiman 上周在 TechCrunch Disrupt 的一场讨论中表示，这些评估背后的方法相当复杂，而且仍在成熟过程中。如果业界未来要依赖这些测试，测试就必须整合成一门更一致的“科学”。 既然如此，我们能信任目前发布的这些测试吗？ “信任这个词分量太重了，”Solaiman 说。“至于我们能否信任结果，很大一部分在于：你能否复现一次评估的结果？你对模型本身是否拥有所需的访问权限——这正是开放式权重（open weights）大显身手的地方，”她补充道。 模型评估的可复现性长期以来一直是 [基准测试中比较棘手的问题之一](https://arxiv.org/pdf/2405.14782)，也是业界争论不休的话题。 除了单项测试本身的有效性之外，还有一个附加问题：这个测试与其他评估相比如何。 “它们是一门仍在演化的科学——我们还不知道如何有意义地把它们相互比较，”Solaiman 说。 “它们会相对快速地失效，而我们需要的繁荣生态还远未成形，”她补充说。“现在大家对嵌入式评估者生态充满渴望，但决定谁能成为跨任务有效评估者的资质标准，还需要大幅度的标准化。