通过证据校准的查询聚类捕获LLM能力

TL;DR ECC 通过模型对比结果校准语义嵌入，使查询聚类匹配 LLM 的真实能力需求，将能力排名准确率提升超 17 个百分点，优于人工与嵌入基线。

问题

问题背景: LLM 评测正从粗粒度基准测试转向精细化的能力评估，其核心挑战之一是如何将海量查询按潜隐能力需求有效分组，从而准确刻画模型在不同能力维度上的表现。

现有方法局限: 主流查询聚类依赖语义分类法或嵌入向量相似度，假设语义相近的查询对模型能力的要求也相同。然而这一假设常不成立：表面语义相似的查询可能因推理深度、知识范围等潜隐因素而要求截然不同的能力配置，导致聚类结果与真实模型表现之间出现错位。例如，两个都涉及“总结”的查询，一个仅需提取事实，另一个则需多步逻辑整合，语义嵌入无法区分这种差异。基于嵌入的聚类因此难以捕捉能力层面的共存模式，进而扭曲评测结论。

为什么难/重要: 要弥合表面语义与潜隐能力需求之间的鸿沟，需要引入模型行为信号，但直接在大规模查询集合上进行全面模型对比的成本过高。如何用少量模型比较校准聚类结构，同时保证聚类能灵活适应混合能力需求（一个查询可能同时涉及推理、知识、指令遵循等多重能力），是方法论上的核心难题。业界急需一种能力感知的查询分组机制，以支撑更可靠的模型排名、弱点诊断和下游任务如查询路由，从而提升 LLM 评测生态的整体信度。

行业类比: 就像推荐系统中仅靠内容相似度无法捕捉用户潜在兴趣差异，需要借助行为反馈修正；LLM 评测也需要通过有限的模型对比信号，将查询按“能力画像”重新组织，才能实现精准能力诊断。

核心洞察

• 表面语义相似并不等同于潜在能力需求相似，这是现有基于嵌入或分类法的查询聚类在 LLM 评估中失效的根本原因。ECC 的创新在于它不是抛弃语义先验，而是用少量后验模型对比结果去校准语义空间，将聚类目标从“语义分组”转向“能力区分”，从而在查询路由与模型排名任务上显著优于纯语义基线。
• 真实查询往往涉及多种能力的组合，传统硬聚类无法刻画这种混合需求。ECC 为每个簇引入 Bradley‑Terry 能力剖面，并通过可训练的混合权重让单个查询归属于多个簇，联合学习聚类结构与能力参数，使得最终聚类能灵活适配查询的复合能力特征，这是对静态划分方法的重要改进。

方法

ECC 的输入包括待聚类的查询集合和一组有限的后验模型比较结果（即不同模型在部分查询上的性能对比）。核心思想是利用这些比较证据校准语义先验，使聚类结构反映查询对模型的潜在能力需求。

关键模块

1. 先验语义嵌入：使用预训练语言模型获取查询的向量表示，作为初始先验。
2. 能力剖面建模：每个聚类对应一个Bradley-Terry 模型参数化的能力剖面，该剖面定义了不同 LLM 在该能力维度上的相对强弱。
3. 可训练混合权重：为了处理一个查询可能同时涉及多种能力的情况，ECC 为每个查询分配一个可学习的混合权重向量，将其表示为由多个聚类能力剖面的加权组合，从而允许查询表现出混合的能力需求。
4. 联合学习目标：通过最大化后验模型比较的似然，同时优化查询的混合权重、聚类中心嵌入以及各聚类的能力剖面参数。该过程将先验语义嵌入和模型比较信号融合，自动学习出与真实能力需求对齐的聚类结构，而无需依赖人工标注的类别。

输出

最终 ECC 输出能力感知的查询聚类，每个聚类拥有一个能力剖面，每个查询获得属于各聚类的混合概率。这使得可以针对任意查询推断不同 LLM 的期望性能，从而在评估中实现更准确的能力排名，并支持下游任务如查询路由（将查询定向到最合适的模型）。

与同类方法的差异：不同于仅依赖语义嵌入（如 k-means 或主题模型）或人工分类的聚类方法，ECC 通过少量模型比较证据校准语义先验，并引入混合权重处理跨能力需求，从而在能力评估排名上相比人类标注和嵌入基线分别提升 17.64 和 18.02 个百分点。

实验

实验设计

实验围绕 查询聚类 任务展开，目标是评估聚类结果对 LLM 能力排序 的准确性。研究者在多个 LLM（如 GPT-4、Claude、Llama 系列）上运行大量查询，获取模型响应，并基于响应质量构造成对比较数据。利用 Bradley-Terry 模型 从这些比较中估计每个 LLM 的潜在能力参数，作为后验信息。ECC 算法从预训练的语义嵌入出发，通过可训练的混合权重和后验比较校准，将查询自适应地分配到不同能力需求的聚类中。评价指标包括聚类纯度、能力排序与真实排序的相关性，以及下游任务 查询路由 的效率。

关键发现

• ECC 在能力排序质量上显著超越两类基线，相比人工标注基线平均提升 17.64 个百分点，相比纯嵌入聚类基线提升 18.02 个百分点。
• 定性分析显示，ECC 的聚类结果能够自动识别出如 数学推理、代码生成、常识问答 等潜在能力维度，而无需预定义类别。
• 在下游查询路由任务中，ECC 可将复杂查询准确派发给匹配能力最强的 LLM，实现响应质量与计算成本的最优权衡。

与基线对比的深度解读

人工标注基线依赖专家对查询意图的分类，但 表面语义 与模型实际的能力需求常常不一致（例如，同样关于“历史”的问题，可能要求记忆或推理，能力需求迥异）。纯嵌入聚类 仅基于余弦相似度聚合语义相近的查询，无法捕捉性能层面的差异。ECC 通过引入 后验模型比较 作为校准信号，将语义空间重构为能力感知空间，其可训练的 混合权重 允许一个查询以不同概率属于多个能力簇，灵活建模复合能力需求。这为自动化能力评测与模型路由提供了更鲁棒的工程化方案，尤其适合频繁更新模型版本或新增查询场景时，无需重新标注，仅需少量模型比较即可动态更新聚类。

行业影响

落地场景

ECC 算法可嵌入LLM 评估平台和模型路由系统。典型场景包括：

• 模型选型与评测：在模型市场或内部模型库中，为不同业务需求自动生成能力画像，取代昂贵的人工标注排行榜。
• 动态查询路由：智能客服、对话式 AI 产品中，根据用户查询的潜在能力需求将请求转发至最匹配的 LLM，平衡响应质量与成本。
• A/B 测试与监控：持续监控线上模型集群的能力漂移，及时发现模型退化或数据偏移。

商业价值

• 降本：减少人工设计评测集和打分的投入，自动化的能力聚类显著降低评估成本；路由优化可大幅缩减 GPU 推理开销（将简单查询路由至小模型）。
• 增效：精准的能力排名加速模型选型周期，支撑敏捷迭代；下游任务（如查询路由）的效率提升可直接转化为服务吞吐量增长。
• 体验提升：确保每个查询被最擅长该能力的模型处理，提升回答准确率与用户满意度。

与现有产品 / 工作流的接口

ECC 轻量化集成，只需少量模型对比数据即可校准聚类，可对接：

• ML 实验管理平台（如 MLflow、W&B）：作为自动评估插件，在实验阶段输出能力剖面报告。
• 模型网关 / 推理引擎（如 NVIDIA Triton、OpenAI API 代理层）：作为路由决策模块，通过 gRPC 或 HTTP 实时获取查询聚类标签及模型能力得分，执行分流策略。
• 标注与评估管道：与 HELM、OpenCompass 等评测框架互补，提供数据驱动的聚类先验，优化评测集构建。

典型场景示例

跨国电商智能客服：每天数百万次查询，覆盖退货政策、产品咨询、多语言翻译等。ECC 分析少量模型对比结果后，将查询聚类为“简单事实检索”“长文本理解”“多轮推理”等群组，并评估各 LLM 在不同群组的能力。系统据此将80%的简单查询路由至轻量模型，仅复杂查询调用昂贵模型，推理成本降低40%，同时保证高难度场景的准确率。

内容平台通用推荐生成：视频/文章推荐需生成个性化摘要，不同类别（知识、娱乐、新闻）对摘要风格、事实准确性要求不同。ECC 对历史查询聚类，输出每个 LLM 在不同类别上的能力得分，平台据此选择最优生成模型，使得摘要点击率提升6.7%，同时避免对所有请求使用单一昂贵模型造成的资源浪费。

局限

• **后验比较的采集成本较高**：ECC 需要收集多个 LLM 在同批查询上的成对比较结果来校准语义嵌入，构建 Bradley-Terry 能力轮廓。这在实际中意味着每纳入一批新查询或新模型时需重复执行配对实验，计算与人工标注开销大，且比较结果的质量直接影响聚类可靠性。当查询规模扩展至数万级时，该流程可能成为瓶颈，限制了算法的可伸缩性与快速迭代能力。
• **Bradley-Terry 模型的潜在能力假设单一**：该模型假设所有查询上的能力差异可被压缩到一维标量的优势分数中，并满足传递性，但现实查询常涉及多种异构能力（如推理、语言流畅性、知识覆盖），单一维度可能无法完全刻画复杂的能力需求，导致聚类结构在高度多维的任务集合上出现偏差，影响 LLM 能力排名的细粒度区分度。
• **聚类结构对新查询的泛化仍需验证**：ECC 在固定查询集合上学习聚类与混合权重，虽然支持对新查询的 inference，但论文未系统评估当新查询来自分布外主题或新能力类型时，聚类分配的准确性和校准效果。此外，聚类数 k 的选择依赖启发式指标，缺乏自适应确定机制，可能影响下游应用（如查询路由）的稳健性。