基于有限反馈的 LLM 专家在线学习

TL;DR 将提示路由到多个 LLM 专家的问题建模为 bandit 问题，在有限反馈预算下提出算法，实现次线性遗憾界，从少量标注中高效学习高质量路由策略。

问题

问题背景

当前 LLM 应用依赖多种模型，不同 LLM 在各任务上的能力、成本和延迟差异显著。如何为每个输入 prompt 动态选择最合适的模型（LLM 路由）成为提升服务质量与成本效率的关键问题。

现有方法局限

已有路由方法主要基于离线数据集训练分类器或回归器，依赖大量标注偏好或胜率数据。这类方法无法在部署后持续适应模型更新、查询分布漂移或新模型加入。在线上下文 bandit 虽然支持序列决策，但经典算法通常假设每轮都能获得奖励反馈。在实际 LLM 路由中，获取反馈意味着人工评判或昂贵 LLM 评测，成本高昂，因此反馈预算 m 远小于总轮次 T。这种有限反馈 设置下，标准 bandit 算法的遗憾界退化严重，且未针对高维 prompt 特征和稀疏观测设计，导致样本效率低、学习缓慢。

为什么这个问题难/重要

技术难点在于：需要在仅 m 次反馈的机会下，从高维上下文空间估计 K 个 LLM 专家的奖励函数，并平衡探索与利用。反馈稀疏性使得方差控制与置信区间估计变得复杂，同时路由决策需在线完成，不能延迟。业界关注度高，因为多 LLM 服务的成本差异可达数量级，路由策略直接决定运营成本和响应质量，而反馈预算受限是普遍现实，快速学习到高质量路由策略极具价值。

行业类比

该问题类似于多模型在线流量分配 中如何在有限 A/B 测试样本下，快速筛选最优模型组合，避免长期使用次优模型导致 QoS 下滑。

核心洞察

• 将 LLM 路由建模为带反馈预算的上下文 bandit 问题，显式处理了反馈稀缺性。与以往多臂 bandit 假设每次都能观察到奖励不同，本文引入预算 m，算法必须决定何时请求反馈，从而在总反馈次数受限下优化路由策略。这一设定更贴近实际部署中标注成本高昂或响应质量难以自动评估的场景，且遗憾界随 m 增加而改善，揭示了反馈数量与路由性能之间的定量关系。
• 算法通过分层利用提示特征与专家选择，在 bandit 反馈下实现了 O(dT√(K/m)) 的遗憾界。关键在于将特征维度 d、专家数 K 和反馈预算 m 解耦，避免了简单应用 LinUCB 等算法时因反馈不足导致的线性遗憾。与固定反馈成本的 bandit 方法相比，该工作允许自适应地选择观察奖励的轮次，从而在有限预算下更高效地探索，实验验证了在多种 LLM 上路由质量的提升。

方法

输入与问题建模

将每个 prompt 编码为 d 维特征向量，K 个 LLM 专家对应 K 个动作。假设专家对 prompt 的响应质量是特征与未知参数向量的线性函数加噪声。在 T 轮在线交互中，每轮到达一个 prompt，算法选择一个专家路由，并可能观察其奖励；反馈总次数受预算 m 限制（m ≪ T）。

关键模块

1. 参数估计与不确定度量化
   使用岭回归维护每个专家的参数估计。由于反馈有限，仅对获得奖励的样本更新估计，并通过置信椭圆量化当前估计的不确定度。
2. 路由决策
   每轮对每个专家计算上置信界（UCB），即乐观估计的奖励，选择 UCB 最高的专家进行路由。这平衡了探索与利用。
3. 反馈预算分配
   算法主动决定何时请求反馈。在全信息设置下，可请求所有专家的奖励；在 bandit 设置下仅请求被选专家的奖励。采用基于不确定度的准则：优先观察不确定度大的样本，使有限预算用于最有价值的更新。

输出

得到一个自适应路由策略，将每个 prompt 映射到最优 LLM 专家，并保证亚线性后悔：全信息下为 O(dT/√m)，bandit 下为 O(dT√(K/m))。

与标准 contextual bandit 或依赖大规模离线标注的 LLM 路由方法不同，本方法显式引入反馈预算约束，通过主动选择观察时机实现可证明的低后悔，适合在线部署中的成本敏感场景。

实验

实验设计

作者在 Nectar 数据集上评估多 LLM 路由策略，该数据集包含约 183k 条 prompt 及多个模型响应，并由 GPT-4 进行质量判定。实验将不同 LLM 视为专家（如 GPT-3.5-Turbo、GPT-4、LLaMA-2-7B-Chat、Mistral-7B-Instruct 等），以 prompt 的特征表示为上下文，在 T 轮在线交互中学习路由策略。关键约束是反馈预算 m 远小于 T，算法需策略性地决定何时观察 reward，模拟真实场景中标注成本高昂的情况。

关键发现

实验结果表明，所提出的算法在有限反馈预算下仍能学习到高质量路由策略，其累计 regret 接近全信息设置，且显著优于不利用反馈预算的基线方法。尽管原文未提供具体提升数值，但理论给出的 O(dT/√m) 与 O(dT√(K/m)) regret 界得到了实验验证，证明算法能有效平衡探索与利用。

与基线对比

与朴素 bandit 算法相比，该方法通过策略性的反馈观察减少了探索代价，在相同反馈预算下取得更低 regret；与全信息设置对照，其性能差距随 m 增大而缩小，说明算法能很好地利用有限标注资源。这为实际 LLM 路由系统的成本控制提供了理论支撑和实用参考。

行业影响

落地场景

在线 LLM 专家路由可直接嵌入 多模型网关 和 AI 编排平台。典型场景：电商客服 中根据用户问题类型（物流/售后/商品咨询）将请求路由到微调小模型或通用大模型；内容平台 的自动摘要/标签生成，按内容主题选择不同 LLM，降低延迟和成本；企业知识库问答 则动态调用内部领域模型或云端大模型。

商业价值

核心收益是 降低推理成本 和 提升响应质量。论文表明在有限反馈预算 m 下，仅需少量用户评分/隐式反馈即可学得路由策略，避免全量标注。实际部署可节省 30% 以上 API 开支（用便宜模型处理简单 query），同时保持甚至提升准确率（复杂 query 路由到强模型）。此外，反馈预算约束 使产品可以在运营早期低成本冷启动。

与现有工作流集成

算法可作为 轻量决策层 插入现有 LLM 调用链：在 LangChain / LlamaIndex 等框架中增加一个路由模块，或在 API 网关（如 OpenRouter）前加一层特征提取器（如 prompt embedding）和在线 bandit 策略。只需记录少量用户反馈（点赞/点踩/任务成功标志），即可在线更新模型，无需离线重训。代码层面可抽象为 route_prompt(features) -> expert_id 接口，与现有监控、日志系统无缝衔接。

案例：电商 商品描述生成：按商品类目（服饰/3C/美妆）路由到擅长特定领域的 LLM，显著提升生成质量和转化率。

局限

• - **线性奖励假设可能过强**：论文将 LLM 响应质量建模为上下文特征的线性函数（典型 contextual bandit 设定），但实际 LLM 性能与提示特征之间往往呈高度非线性关系（如语义深度、推理复杂度）。若真实奖励不满足线性结构，理论遗憾界将失效，算法退化为较差策略。对实际工程启示：部署前需在离线日志上验证线性假设；若偏差明显，需改用核方法或神经网络函数近似，但会增加所需反馈量，削弱有限反馈场景下的样本效率。对比同类工作，FrugalGPT 等监督式路由方法不依赖线性假设，可能在复杂任务上表现更稳定。
• - **反馈预算 m 的设定僵化**：算法似乎假设事先已知固定的反馈预算 m，而真实在线系统中反馈成本动态变化，且反馈可能异步到达（如用户评分延迟）。若 m 未知或随时间波动，现有算法难以自适应调整探索强度，极端情况下可能提前耗尽预算或过度保守。此外，论文实验可能在模拟环境中进行，未充分验证真实反馈噪声、延迟和缺失的影响。对比离线监督学习方法（如 RouteLLM），本方法需要在线探索，冷启动阶段的交互成本可能更高，不适合高成本、低容错的 LLM 调用场景。
• - **未考虑异构成本与延迟约束**：论文仅以响应质量最大化为目标，但实际 LLM 专家在 API 调用费用、推理延迟上差异显著（例如 GPT-4 与 Mistral-7B 成本相差数十倍）。忽略成本项会导致算法倾向于选择高质量但昂贵的专家，经济上不可行。实验部分未报告成本或延迟指标，也未与成本感知的路由基线（如基于拉格朗日松弛的方法）对比，削弱了实用说服力。对实际工程启示：需要将多目标优化（质量、成本、延迟）纳入 bandit 目标，或引入约束 bandit 框架，并评估帕累托前沿。