组合语言模型何时有帮助？在67个前沿模型上的路由、投票和混合代理的共同失败上限

TL;DR 多模型系统的准确率存在由所有模型同时失败概率 β 决定的硬上限，而非通常报告的成对相关性 ρ；在 67 个前沿模型上，实际 β 被严重低估，揭示了组合增益的本质是错误分布差异。

问题

当前多模型 LLM 系统——路由 (routing)、投票 (voting)、级联 (cascades)、融合 (fusion) 和 Mixture-of-Agents (MoA)——被广泛用于超越单模型精度，但行业普遍以平均成对错误相关性 $\rho$ 作为多样性与增益的诊断指标。然而，本文指出 精度增益存在一个由“共失败率” $\beta$ 决定的上限：任何仅输出单一成员模型答案的策略，其准确率不可能超过 $1 - \beta$。$\rho$ 无法识别 $\beta$：即便错误边际分布与两两相关性完全相同，$\beta$ 也可能不同。现有基于高斯 copula 的校准模型（即便采用 tetrachoric 校准）仍系统性低估真实共失败尾部分布——在 67 个前沿模型的开源数学任务上，观测 $\beta$ 为 0.052，而模型预测仅 0.023，低估约 2.5 倍（90% CI 1.7–3.4），且该现象在更大模型池中更显著。此问题之所以棘手，是因为 共失败源于模型间超出线性相关的尾部依赖，类似于金融中资产收益的极端共同下跌，不能通过简单增加模型数量来分散。在需要开放式生成或代码执行评测的任务中，共失败率更高（代码 0.079，GPQA 开放式 0.127），表明 答案格式而非学科领域本身驱动了共同失效。该发现对工程实践的启示是：在没有强查询级路由信号的可校验任务上，组合模型很少能超越单最佳模型；真正的增益来自“模型在不同问题上失败”，而非堆叠更多模型——这类似于投资组合中无法通过多样化消除的系统性风险。

核心洞察

• **共失效概率 β 才是组合系统的真实天花板，而非平均成对错误相关性 ρ**。论文严格证明：对于任何输出为单一模型答案的策略（路由、投票、级联等），准确率上界为 1−β，其中 β 是所有模型在同一查询上同时出错的概率。即使模型的错误边界和两两相关性ρ相同，β 仍可不同；这意味着常见的 ρ 报告无法可靠评估组合增益。这为从业者设定了一个可计算的、无需训练路由器的认证极限：通过对留出查询集估计 β 的 Clopper–Pearson 上界，就能提前判定任何路由或融合策略的最大可能提升。
• **大型模型池中多变量高斯耦合假设会系统性低估尾部共失效**。在 67 个前沿模型上的实验显示，即使经过四分相关系数校准的单因子高斯 copula 仍将开放域数学任务的 β 低估约 2.5 倍（0.023 对实际 0.052），90% 置信区间为 1.7 到 3.4。这种低估效应随模型池扩大而加剧，说明真实共失效尾部比多元正态假设更厚。从业者若依赖此类系数进行模型多样化决策，会高估路由或集成的预期收益，尤其在需要强失效独立性的场景。
• **组合收益的本质是模型在不同问题上的错位失败，而非单纯增加模型数量**。当任务可自动验证（如数学、代码）且缺乏强查询级路由信号时，组合方案很少能超越单个最佳模型。论文发现，低ρ异构集成优于高ρ的自集成（如 Self-MoA），但真正的增益来自模型在非重叠问题上的失败分布。这提示工程实践应优先构建针对不同错误模式的专家模型池，并通过失败分析量化 β，而非盲目堆砌同类模型或依赖表面相关性指标。

方法

核心框架：以共失效概率 β 定义集成准确率天花板

输入：一个固定查询集 ( Q )，一组 ( K ) 个前沿 LLM，每个模型对每个查询的应答正确性标签（二值）。

关键模块：

1. 定义共失效概率 β — 任意查询上所有 ( K ) 个模型同时给出错误答案的比例，即 ( \beta = P(\text{所有模型均错}) )。

2. 推导集成准确率上界 — 对于任何输出最终答案为单个成员模型结果的策略（路由、多数投票、级联等），准确率 ( A ) 严格受限于 ( 1 - \beta )。理由：既然所有模型都错的查询无法被任何选择器修正，最佳情况只能覆盖其余 ( 1 - \beta ) 的比例。

3. 揭示 ρ 的不足 — 业界通常用平均成对错误相关性 ( \rho ) 衡量模型异质性，但论文证明 ( \rho ) 不能唯一确定 β：存在相同边际准确率和相同 ( \rho ) 的错误分布，其 β 可以相差悬殊，因此仅看相关性会低估集成系统的上限风险。

4. Clopper–Pearson 有限样本证书 — 不需要训练任何路由或投票器，利用 ( Q ) 上的正确性标签，通过 Clopper–Pearson 方法计算 β 的单侧置信上限 ( \beta_{\text{upper}} )。由此获得准确率上界 ( 1 - \beta_{\text{upper}} ) 作为“可实现性证书”，在实际部署多模型系统前即可评估组合策略的最大潜在收益。

5. 大规模模型池与尾部校准 — 对 67 个模型（来自 21 个提供商），使用 四分相关（tetrachoric）校准的单因子模型 以及 67 维高斯 copula 模拟所有模型同时出错的概率，发现实际观测 β 远超理论预测值（例如开放数学任务中观测 0.052 vs 预测 0.023），即普适的尾端低估效应，且偏差随模型池规模扩大而加剧。

输出：

• 未训练路由器前的准确率上限证书（( \hat{A}{\max} = 1 - \beta{\text{upper}} )）。
• 通过实测 β 判定特定任务与模型组合是否已触及天花板，从而决定是否值得继续增加模型或寻找路由信号。

与同类工作的差异：以往集成经济性研究聚焦平均错误相关性或边际准确率提升，本工作首次将 β 作为硬性上限，用有限样本证书提供事前决策依据，证明了在多模型系统中，收益主要来自模型在不同查询上犯错，而非简单堆叠模型数。

实验

实验设计

论文在三个高难度任务上评测了来自 21 家提供商的 67 个前沿 LLM：

1. 开放式数学 (open-ended mathematics) — 自由形式答案，需模型生成完整解法，而非选择题。
2. 执行评分的代码 (execution-graded competitive code) — 从竞争性编程平台抽取问题，由严格测试用例判定正确性，避免人类主观偏见。
3. GPQA-Diamond 自由回答版本 — 将原本的多项选择专家问题转为自由文本回答，由五名专家裁判（评分一致性 κ=0.73–0.92）人工判分，旨在剥离猜测因素，暴露格式依赖的共同失败。

核心测度 β — 同一查询上所有模型同时答错的概率。同时计算平均成对错误相关 ρ，并与 Clopper-Pearson 置信界 下的 β 估计对比。实验对比了异质集成与 Self-MoA 等策略，并检验路由、投票、级联等离散输出策略的精度上限是否受制于 1−β。

关键发现

• 共同失败尾部分量显著且被模型低估：在开放式数学上，实测 β=0.052，而基于全模型高斯 copula 的预测仅为 0.023，低估 约 2.5 倍（90% CI 1.7–3.4）；代码任务 β=0.079，复现尾部特征；GPQA 自由回答 β=0.127，幅度更大。这证明模型错误并非独立，高维尾部依赖远超常见 ρ 所能刻画。
• ρ 无法识别 β：相同边际错误率和相同成对 ρ 的模型集合可以有不同的 β。因此，业界惯用的平均成对错误相关无法可靠预估多模型系统的增益上限。
• 组合模型的实际收益有限：在可检验的任务上，若无强查询级路由信号，组合模型极少超越单一最佳模型。低 ρ 的异质集成虽优于高 ρ 的 Self-MoA，但增益仍源于模型在不同问题上的分散失败，而非简单堆叠更多模型。
• 格式变动重塑风险格局：同一知识领域，仅将多选题改为自由回答，β 从高斯预测的极低值跃升至 0.127，说明共同失败模式根植于答案格式而非学科内容本身。

与基线及同类工作的对比

传统多模型系统评估聚焦于 平均准确率提升 或 ρ 的分散效应，如路由排序、投票融合。本文引入 β-co-failure 天花板，提供了一个策略无关的精度上限：任何输出单成员答案的策略（路由、多数投票、级联）都不能超过 1−β。这与以往基于 ρ 的优化范式形成鲜明对比：ρ 低不一定意味着高天花板，而 β 高则直接封杀所有简单组合策略的潜力。

实验进一步证明，即使在 67 个顶尖模型构成的池中，无路由信号的均匀选择也无法突破最佳单模型屏障。这解释了此前一些集成方法在高难度任务上增益递减的原因，并将注意力引向查询级别的质量估计与选择性路由作为更本质的突破方向。同时，论文指出 Clopper-Pearson 界限仅需一个已评分的留出查询集，即可在训练路由器之前对任何组合策略的最大可能收益给出有限样本证书，为实际部署提供了诊断工具。

行业影响

落地场景

论文为多模型组合系统的部署划定了硬性能天花板，直接影响模型路由（routing）、投票（voting）、级联（cascades） 与混合代理（Mixture-of-Agents） 等产品形态。在以下场景中，该结论可作为是否引入多模型组合的决策依据：

• 企业级模型网关：当系统根据查询难度动态分配不同模型时，可通过 1 - β 预判组合收益上限；若上限已低于单模型准确率，则无需训练路由策略。
• 自动化代码审查 / 生成流水线：如使用多个 LLM 生成代码并投票选择最终答案，实验显示在可检查任务（execution-graded code）上 β 较高，组合增益有限，直接选用单最强模型更经济。
• 开放式问答质量保证：在 GPQA-Diamond 自由回答形式下 β 升至 0.127，表明即使强模型也会集体出错；此类场景可转向人工介入或要求结构化输出，而非堆砌模型数量。

商业价值

• 降低推理成本：论文证明“增加模型数量”未必提升准确率，尤其在缺乏强查询级路由信号时。企业可据此避免无效的算力投入，将资源分配给单模型能力提升或查询难度预测模块。
• 提升系统 ROI：通过 Clopper–Pearson 边界在少量样本上就能估计 β，从而在项目早期量化组合增益天花板，避免在 β 过高的任务上盲目建设多模型管道。
• 增强可靠性预期管理：非结构化任务（数学、代码、开放问答）中 β 被传统相关性指标（ρ）显著低估，正确校准的尾部风险评估可防止生产环境出现意外集体失效，优化 SLA 设定。

与现有产品 / 工作流的接口

论文提出的分析方法可作为一个轻量级评估层，集成到现有 MLOps 或 LLMOps 栈中：

• 模型评估套件：在离线测评流水线中增加 β 统计量及 Clopper–Pearson 置信上界，作为模型组合评估的必看指标，与现有的 pairwise error correlation 并行输出。
• 推理调度中间件：路由系统（如 LiteLLM、自研网关）可在路由策略训练前，先基于少量标注样本计算 1 - β 天花板；若天花板接近单模型准确率，则降级为单模型调用，节省路由模型训练与维护成本。
• 成本优化引擎：结合论文附录 A 的经济学框架，将 β 和查询难度分布输入成本模型，动态决定是否启用多模型级联或投票，替代固定策略。

具体落地案例：

1. 电商搜索意图路由：在多语言商品搜索中，系统需决定是将查询发给单个通用模型，还是路由至多个专用模型（如擅长规格匹配、描述理解、价格推理的模型）并投票。利用论文方法，可先用少量人工标注样本估计 β；若 1 - β 已接近 0.95 而最强单模型达 0.93，则投票增益仅 2%，却增加 3 倍推理成本，可直接选择单模型架构。
2. 金融报告自动生成审计：生成投资摘要时使用 5 个模型投票确保一致性；若 β 在数量误报或风险术语上较高，说明多个模型会同时出错，投票不能提升可信度。改为使用论文建议的查询级路由信号（如识别易错查询类型）定向分配至针对性模型微调，反而降低合规风险。

局限

• **任务与模型池的覆盖度有限**：实验集中在数学、代码和 GPQA-Diamond 三个领域，且主要使用监督式评估（如最终答案比对）。尽管模型池包含 67 个前沿模型，但所有模型均属于同一代架构（大型自回归语言模型），无法反映未来模型或完全异构系统（如结合符号推理引擎）的错误模式。该上限是否在两个以上领域、不同模型族或更开放式的生成任务中保持一致，仍需更多证据。
• **分析与工程部署之间存在距离**：论文给出的是理论上的精准上限（1-β），但 β 的估计依赖已标注的查询集和 Clopper-Pearson 置信界。在实际动态路由或投票系统部署中，模型池可能不断更新，查询分布也可能漂移，导致预先计算的 β 实时失效。论文未提供如何在持续学习中监测或更新 β 的方案，也未讨论成本敏感的场景下如何将该上限转换为投资决策指标。
• **策略类型的固有局限**：论文明确限定仅适用于「输出为单个成员模型答案」的策略（路由、投票、级联等），而不涵盖模型融合（如 token 级加权或生成后综合）或级联中退而求其次的软融合方法。这些方法可能通过整合多个模型的信号突破 1-β 天花板，但论文的框架无法对其给出指导。这限制了该理论在更丰富集成范式中的适用性。