Cluster, Route, Escalate: 面向成本感知的LLM服务的级联框架

TL;DR 级联框架先聚类查询分配经济模型，再用质量估计升级低质量响应，仅需正确性标签，在保持 97-99% 最强模型精度的同时降低成本与延迟。

问题

问题背景

在生产环境中部署 LLM 时，不同查询的难度差异极大——简单问题用小模型也能答对，难题却需顶级大模型才能保证正确。此时若只部署单一模型，就陷入两难：要么为简单查询支付高昂推理成本，要么在困难查询上损失精度。

现有方法的局限

主流解决方案是模型路由（model routing）或级联（cascading）。路由通常依赖在线质量估计（QE）或分类器来为每个查询分配合适模型，额外推理开销大，且超参数（如成本预算）不直观，难以离线调优。级联则多按固定顺序尝试模型，缺乏对查询群体的全局成本优化，也无法灵活适应模型池变化。此外，多数方法需手写规则或人工配置路由策略，维护成本高，容错性差。

为什么这个问题既难又重要

LLM 推理成本直接影响服务可持续性，Time Per Output Token (TPOT) 则是用户体验核心指标。但查询难度与模型能力的匹配本质上是多目标优化——要在精度退化可接受的前提下最大化成本削减。难点在于：

1. 如何自动划分查询群组并为其选择最具帕累托最优的模型？
2. 如何提供一个可解释的、离线可调的成本控制旋钮？
3. 如何不依赖在线大模型而实现低开销的质量筛查？ 业界对**成本感知（cost-aware）**的 LLM 服务框架需求迫切，因为静态模型部署已无法应对不断扩大的模型池和动态流量。

行业类比

这类似于云服务的弹性伸缩（auto-scaling），但粒度更细：不是按实例数，而是按每个查询的语义难度动态分配计算资源，在保证服务等级协议（SLA）的同时将成本压到最低。

核心洞察

• 查询聚类消除逐样本路由开销，并提供可解释的成本控制。传统级联系统对每个查询独立决定模型，路由开销高且策略不透明。该方法先聚类相似查询，再通过帕累托前沿为每个聚类分配单一性价比最优模型，仅用一个可调超参数 λ 表达成本预算，无需逐样本推理决策，大幅降低路由延迟，同时让系统的精度-成本权衡变得直接可控。
• 质量估计级联作为安全网，避免依赖不可靠的难度预测。单纯基于聚类路由可能误判个别困难样本，该方法不试图预测查询难度，而是在阶段一输出后接入轻量 QE 分类器，仅对低质量输出重路由到更强模型。这比端到端学习路由函数更鲁棒，且 QE 标签直接从任务正确性自动构建，无需额外人工标注，使级联系统能快速适配新模型。
• 仅需任务正确性标签即可适应模型池动态变化，无手动重配置。该框架的所有组件（聚类、模型分配、QE 分类器）都仅依赖输出是否正确，不依赖内部置信度或模型特定特征。当模型池新增或移除模型时，只需重新运行离线配对评估更新帕累托前沿和路由区域，无需修改代码或人工定义规则，适合模型频繁迭代的生产环境。

方法

该框架采用 两阶段级联路由 解决 LLM 服务的成本-精度权衡。输入为用户查询流与模型池（大小、能力各异），输出为每个查询的最终答案，同时最小化总推理成本与 TPOT。

阶段一：聚类与成本驱动路由

查询先经嵌入编码，通过 聚类（如基于 DBSCAN 或 K-Means）划分成语义相似的群组。对每个聚类，在模型池上执行 帕累托分析，构建 cost-accuracy 前沿，识别非支配模型。系统引入可调超参数 λ ∈ [0,1]，用于量化成本容忍度：λ=0 偏向最廉价模型，λ=1 偏向最强模型。通过离线验证集确定各聚类的 交叉点（不同模型在 λ 轴上的切换边界），形成路由表。在线阶段，新查询根据其聚类直接匹配预设模型，避免逐条决策开销。

阶段二：质量估计级联

阶段一输出后，使用一个轻量 QE 分类器（仅需任务正确性标签训练）预测答案是否可能错误。若判定为低质量，查询自动 升级 至池中下一档更强的模型，重新生成答案。该分类器以查询-响应对为输入，输出置信度分数，阈值可调以控制升级频率。最终输出为一次或经过升级的最高质量答案。

工程价值与差异

与现有动态路由或固定级联不同，本工作将 聚类与成本预算显式解耦，λ 提供直观的商业调整手柄；且 QE 级联仅按需触发昂贵模型，避免了对所有查询一律使用大模型或依赖复杂实时路由器的开销。仅需任务正确性标签训练，无手工规则，支持模型池动态扩展：当添加新模型时，仅需更新帕累托前沿及交叉点，无需重训练路由策略。

实验

实验设计方面，在两个不同领域的基准 AIME 2024（数学问题）和 TeleQnA（电信问答）上进行验证。模型池包含多个不同规模的 LLM，系统分两阶段评估：阶段 1 基于离线聚类将查询按难度分组，并为每组选择 Pareto 最优的模型，通过可解释超参数 λ 平衡成本与精度；阶段 2 引入 质量估计（QE）级联，当阶段 1 的输出被 QE 分类器判定为低质量时，自动将查询升级到更强模型。评估指标包括相对最强模型的准确率保留率和 每输出 token 时间（TPOT）。

关键发现：级联系统在几乎不损失精度的情况下显著降低推理延迟——保留了最强模型 97-99% 的准确率，同时减少了 TPOT。QE 分类器仅需任务正确性标签 即可训练，无需人工标注，且当模型池变化（新增/移除模型）时，路由策略能自动适应，避免了手动重配置。

与基线对比：相较于直接使用最强单一模型，级联方案准确率几乎持平，但成本大幅降低；若只使用同一低成本模型，则硬查询精度会大幅下滑。该方法通过数据驱动的聚类和 Pareto 前沿分析，找到成本最优分配，远胜于简单的平均路由或随机分配。QE 级联进一步确保难例被升级，提升了整体鲁棒性。整体框架为生产环境中动态、高效的 LLM 服务提供了实用模板，尤其适用于对延迟和成本敏感的对话系统。

行业影响

落地场景

该框架适用于任何需要大规模部署 LLM 在线服务的业务，如智能客服、内容生成、代码辅助、文档审核等。查询难度天然分布不均，如简单问候与复杂推理共存，传统单模型方案要么成本高昂，要么在困难查询上精度不足。本文的级联方案通过聚类路由 + 质量升级，根据查询特征动态分配模型，尤其适合流量大、延迟敏感、且模型池多样化的生产环境。

商业价值

• 降本：将大量简单查询路由至小模型，减少对高价大模型的调用，平均推理成本显著下降；论文显示能保持 97–99% 最强模型精度，同时降低 TPOT。
• 增效：更低的时间消耗直接提升吞吐，改善用户体验；质量升级机制确保仅极少数困难样本使用大模型，避免全局延迟恶化。
• 运维简化：无需手动设计路由规则，仅需任务正确性标签即可离线调优，且能自动适应模型池变化，降低工程维护开销。

与现有产品/工作流的接口

该框架可作为独立的 路由网关层 嵌入现有推理栈：

• 接收 API 请求后，先经聚类模型分配至成本最优模型，再通过 QE 分类器判断输出质量，必要时升级至强模型。
• 与主流推理引擎（如 vLLM、NVIDIA Triton）兼容，只需在模型调用前加入路由逻辑，无需修改模型本身。
• 聚类模型和 QE 分类器可离线训练，并用 λ 超参数控制成本-精度权衡，适合不同业务线的预算需求。

具体落地 Use Case

1. 电商平台商品问答与描述：对于“尺码推荐”等简单查询调用小模型，对于“多条件筛选对比”等复杂查询启动强模型；当回答出现事实性错误风险时，QE 分类器触发升级，既保证转化率又控制推理成本。
2. 金融文档合规审查：自动审查合同条款，普通条款由中等模型处理，含特殊条款或低置信度输出则升级至最强模型复核，确保合规精度，同时大幅降低逐条调用大模型带来的费用。

局限

• 方法采用**查询聚类**作为第一阶段路由基础，聚类模型需基于历史查询构建，对**分布外(OOD)查询**或新领域可能出现泛化偏差，需定期重聚类以维持路由质量。**质量估计(QE)分类器**依赖任务正确性标签，需为每个新任务单独训练，增加了部署和维护的复杂度；对于开放式生成任务（如创意写作）缺乏明确正确性标准，QE 的适用性受限。
• 级联系统虽在论文中分析了额外开销，但**聚类、路由、QE 判断**均引入决策延迟，在**毫秒级延迟敏感**的在线服务中可能成为瓶颈。此外，成本预算的超参数 λ 通过离线搜索选定，缺乏**在线自适应**能力，无法实时响应流量模式或成本约束的动态变化，可能导致资源分配次优。
• 与**动态专家混排(Dynamic Mixture of Experts)** 或基于**比较判别**的在线路由（如 llm-blender、FrugalGPT）相比，本工作通过**静态帕累托前沿**确定模型分配边界，未充分利用多个模型在同一查询上的互补性，可能遗漏更精细的成本-质量权衡。在模型池频繁更新的场景下，帕累托分析需重新计算，自动化程度有待提高。