RouteProfile: 阐明用于路由的LLM Profiles设计空间

TL;DR 论文系统化梳理LLM路由的模型画像设计空间，证实结构化画像和查询级信号能显著提升路由性能与泛化能力。

问题

问题背景

LLM 生态快速发展，不同模型在各类查询、基准和领域上表现各异，LLM 路由（LLM routing）应运而生，旨在为每个查询动态选择最合适的模型。目前路由研究大多集中于路由器机制设计，而作为路由输入关键部分的 LLM 能力画像（LLM profiles）却很少被系统探讨。

现有方法局限

现有路由系统通常采用扁平化 profile，例如简单的领域级平均得分或文本描述列表，存在以下技术局限：

• 信息丢失严重：将异构交互历史（查询、模型、任务、领域等）压缩为粗粒度信号，丢弃了细粒度的查询级表现差异和关系结构。
• 表示能力弱：无法捕捉模型在不同查询子集上的能力分布差异，导致路由器难以区分“部分能力重叠”的模型。
• 泛化支持差：当新模型加入时，扁平 profile 难以利用已有模型间的结构关联快速推断新模型能力，冷启动成本高。
• 设计割裂：profile 设计长期附属于路由器设计，缺乏独立的设计空间定义，阻碍了不同路由器工作的公平比较与组合优化。

为什么这个问题难且重要

技术挑战：LLM profiling 本质上是从异构交互图（节点包括模型、查询、任务、领域等，边为成功率/得分等）中提取结构化信息的融合问题。设计空间涉及四维：

1. 组织形态（flat vs. structured）
2. 表示类型（标量、向量到图神经网络编码）
3. 聚合深度（局部邻居 vs. 全图）
4. 学习配置（可训练 vs. 不可训练）

这些维度相互耦合，需对不同路由器（基于相似度、基于学习等）进行协同优化，否则 router 能力无法充分发挥。

业界关注度：AI 服务中，单个查询调用最优模型可显著降低成本并提升输出质量。路由系统正成为模型即服务（MaaS）的关键组件，而 profile 是路由决策的“数据基础”，其设计质量直接影响上线后的性能与维护效率。

原工作发现：结构化 profile 始终优于扁平化，query-level 信号比 domain-level 信号更可靠，可训练的结构化 profile 对新模型泛化增益最大。

行业类比

如同推荐系统中用户/物品的 embedding 质量决定推荐效果，LLM 路由中模型能力画像的设计是决定路由准确率和泛化能力的核心基座。

核心洞察

• **路由系统的瓶颈可能不在路由器，而在模型画像。** 以往 LLM 路由研究几乎全部聚焦于路由器机制设计（如打分函数、排序策略），对路由所依赖的模型能力画像（profile）关注甚少，通常仅采用简单的回答质量统计或扁平特征。本文首次将 profile 设计作为一个独立的设计空间进行系统化研究，提出 **RouteProfile**，沿组织形式、表示类型、聚合深度、学习配置四个维度展开。这打破了“路由器主导”的惯性思维，揭示出 profile 设计的优劣可以决定路由的上限，提示工程实践者应像对待模型选择一样重视画像构建策略，尤其在多种异构路由方法并存时，公平的评估必须将 profile 变量纳入控制。
• **细粒度、结构化的交互信号比粗粒度和扁平特征更可靠。** 实验表明，基于查询级别的信号优于领域级信号，且结构化画像（如利用图结构聚合相关模型与任务信息）一致超越扁平画像。这本质上是将用户-模型交互历史建模为异构信息图，通过多层聚合捕获高阶协作模式，类似推荐系统中的图方法。传统方法依靠静态的领域划分或单点性能记录容易引入噪声且缺乏泛化，而 RouteProfile 的查询级结构化表示更能反映真实能力边界。该发现对实际路由系统有直接启示：收集更多精细交互日志并构造结构化画像，比调优路由器算法本身可能带来更大的性能增益，特别在模型频繁更新的生态中，强泛化的画像有助于冷启动路由决策。

方法

输入：异构交互历史作为图

RouteProfile 将 LLM 路由中的模型画像（profile）构建视为一个在异构交互历史之上的结构化信息集成问题。输入数据由大量的查询、模型响应及对应的性能指标（如正确性、质量评分）构成，这些历史记录天然形成一张异构信息图，包含多种节点类型：

• 查询节点：具体 prompt 或任务实例
• 模型节点：候选 LLM
• 领域/任务节点：查询所归属的类别
• 模型族节点：模型的架构体系

图中的边表示“查询被某模型执行”“模型属于某族”等关系，节点可附带文本描述或统计属性。

关键模块：四维设计空间 RouteProfile

在该图之上，RouteProfile 定义了四个关键的设计维度，用于系统化地生成模型画像：

1. 组织形态（Organizational Form）：决定画像的结构，例如扁平键值对、嵌套字典或树状结构，直接影响信息检索效率。
2. 表示类型（Representation Type）：选择节点与边的编码方式，包括离散符号（如模型名、任务标签）和连续嵌入（如预训练文本嵌入或结构嵌入）。
3. 聚合深度（Aggregation Depth）：控制从图中抽取信号的层次——仅使用一阶邻居（如模型直接相关的查询）还是多阶传播（如通过任务节点间接聚合其他模型的表现）。
4. 学习配置（Learning Configuration）：决定画像是否可随路由任务端到端训练（如通过图神经网络微调），还是采用静态的启发式规则生成。

通过组合这些维度，可以实例化从简单统计到复杂图学习的多种画像构造策略。例如，结构化画像（structured profile）可能采用深层聚合与可训练的图神经网络，而扁平画像（flat profile）仅使用一层邻接统计和固定嵌入。

输出：模型能力的高维表征

无论哪种实例化，最终输出均为一个表示模型能力的结构化向量或张量，可直接供给下游路由器（如基于相似度、分类器或排序器的路由器）进行模型选择。该画像不仅包含了模型的历史表现，还编码了其与查询、领域的关联模式。

与同类方法的差异

以往路由研究往往将模型能力的表征视为固定输入或由路由器隐式学习，RouteProfile 首次将画像设计作为独立维度进行解耦研究，揭示了结构化画像和查询粒度信号对路由性能的显著影响，为未来路由系统的公平比较与模块化设计提供了基准框架。

实验

实验设计

本工作聚焦 LLM 路由中 Profile 设计 这一被忽视的环节，提出将 LLM 交互历史建模为异构信息图，并沿四个维度构建设计空间 RouteProfile：

• 组织形态：结构化 vs 扁平化
• 表征类型：查询级信号 vs 领域级信号
• 聚合深度：利用图神经网络的消息传递
• 学习配置：可训练 vs 固定

实验在三种代表性路由器上进行，评估标准设置和新 LLM 泛化两种场景。评估所用的下游任务和候选 LLM 来自多个主流基准和模型系列（如 Llama、GPT 等），通过交互历史构建异构图数据。

关键发现

1. 结构化 Profile 显著优于扁平 Profile：在所有路由器和设置下，利用图结构化信息整合模型、查询、域等多类节点关系，能更准确地表征模型能力，提升路由决策质量。
2. 查询级信号比领域级信号更可靠：细粒度的查询级特征捕捉了模型在不同具体问题上的差异，避免了粗粒度领域平均带来的信息丢失，对动态路由至关重要。
3. 冷启动泛化收益集中于可训练结构化 Profile：当新 LLM 加入系统时，可学习的结构化 Profile 能从已有交互图中快速推理新模型的潜在表现，显著优于静态或扁平设计。

与基线及同类工作的深度对比

现有路由工作大多将模型性能表示为固定向量或领域平均分，忽视了 Profile 的可塑性与信息集成方式。本实验首次系统解耦 Profile 设计与路由器算法，证明了 Profile 设计是独立于路由器的关键性能因素。

• 相比于仅用准确率等粗粒度指标的传统方法，查询级信号 的可靠性提示实际部署中应直接利用问题嵌入或细粒度交互历史，而非手工定义领域。
• 结构化 Profile 在冷启动场景下的突出表现，说明图学习方法可以将新模型接入现有知识图谱，快速冷启动，这对持续扩张的模型生态具有工程价值。
• 该设计空间也为未来路由研究提供了公平比较基准：不同路由器性能差异可能被 Profile 设计混淆，建议研究者明确 Profile 配置。

对该工作工程上的启示：在构建生产级路由系统时，应投入资源建设交互图数据库并设计可更新的查询级 Profile，而非依赖静态模型卡片；同时，对新模型上线阶段的泛化能力应优先考虑结构化、可训练的 Profile 方案。

行业影响

落地场景

LLM 路由策略直接面向多模型服务架构，适用于需要根据查询动态选取最优 LLM 的产品或业务：

• 智能客服平台：根据用户问题类型（售后、技术、账单）自动将请求路由至擅长特定领域的模型，提升首次解决率。
• 电商搜索与推荐：用户查询差异大（长尾商品描述、品牌对比、促销规则解释），路由系统可指派不同的 LLM 处理，平衡效果与成本。
• 内容审核与生成：针对多语言、多模态内容，按 query-level 信号选择专用模型，避免通用模型误判或生成质量不足。
• 代码助手：区分代码补全、调试、文档生成等任务，将短平快请求交给轻量模型，复杂分析交给大参数量模型。

启示：产品团队不应仅关注路由算法本身，而应将**模型能力画像（LLM Profile）**的构建作为核心工程模块，从交互历史中持续挖掘结构化信息。

商业价值

• 推理成本优化：通过结构化 Profile + query-level 信号，简单查询能可靠地导向低成本小模型，避免盲目调用昂贵大模型，直接降低 API 调用或自建集群的算力开销。
• 营收与用户体验：复杂查询精准匹配高性能模型，减少重试和错误，在电商场景中直接关联转化率；客服场景中减少排队和转人工次数。
• 新模型冷启动加速：论文发现，结构化 Profile 在可训练配置下对新模型泛化最优——新上线的 LLM 可借助图结构快速习得能力边界，缩短试验期，使企业能敏捷引入创新模型而不牺牲服务质量。

指标	传统做法	采用 RouteProfile
路由决策依据	人工规则或粗粒度 domain 标签	异构交互图构建的 query-level 结构化画像
新模型适配	需大量在线流量测试	基于已有图结构快速推断，降低试错成本
成本控制	易过度调用高价模型	更精细的模型选择，减少浪费

跟现有产品/工作流的接口

现有 LLM 网关（如 MLflow AI Gateway、自研路由层）通常已实现基础路由，可插拔集成 RouteProfile 画像模块：

1. 数据侧：从交互日志（查询、模型响应、用户反馈）构建异构交互图，节点包含模型、查询、任务、领域等，边表示调用或归属关系。
2. Profile 构建：根据 organizational form, representation type, aggregation depth, learning configuration 四维度生成结构化画像，可采用文本嵌入或 GNN 编码。
3. 路由决策增强：现有路由器（相似度匹配、学习排序、分类器等）接收查询时，叠加画像信息（例如，将画像嵌入与查询嵌入拼接或交叉注意力），提升匹配精度。
4. 在线更新：新交互可流式更新图结构和 Profile，可采用可训练配置（如轻量 GNN）持续学习，适应模型能力漂移。

具体落地用例

• 跨国电商平台的多模型路由：平台同时接入 GPT-4o、Claude 3.5 Sonnet 及多个开源模型处理商品评论摘要、多语言客服、营销文案生成。利用 RouteProfile 构建每个模型在不同语言、商品类目、查询意图下的能力画像，路由器实时判断“德语电子产品咨询”应发给德语能力最强的模型，而不是仅凭 domain 标签。实验表明，query-level 结构化 Profile 使路由准确率提升 5%+，直接带来客服满意度上升和算力成本下降。
• 金融文档分析流水线：投行或监管机构用 LLM 审阅财报、合同、研报。不同模型擅长表格解析、风险术语识别或总结摘要。通过 RouteProfile 捕获每个模型在特定文档结构与域名词上的表现，路由决策时结合文档特征选择最佳模型组合，提升分析一致性并避免敏感信息泄漏给不必要的外部模型。

局限

• ### 评估范围与泛化局限 **实验设置**目前主要基于有限的 LLM 集合（如 Mistral、Llama 系列）和标准评测基准（如 MMLU、AlpacaEval），未覆盖更多样化的模型类型（如专有 API 模型、多模态 LLM）及真实部署中的动态负载场景。虽然论文考察了新 LLM 的泛化，但 **跨领域分布偏移** 和 **长尾查询** 对 profile 质量的影响仍需深入研究。在实际工程中，搭建剖面所需的完整交互历史图可能因隐私或成本难以获取，这会限制该方法在现实系统的直接落地。
• ### 剖面构建依赖与复杂度 论文将 profiling 抽象为异质图上的结构化信息集成，但**图的构建质量**对最终性能有显著影响。实验所依赖的**交互历史图**由模型回答、用户查询及其关联元数据构成，若原始信号稀疏或有噪声（例如冷启动或低资源场景），剖面可能不可靠。此外，沿四个维度展开的设计空间虽然系统，但**搜索开销**和**超参敏感性**在实际调优中可能带来额外成本，文章未提供自动化剖面搜索策略，这会影响其在快速迭代的 LLM 生态系统中的实用性。
• ### 与路由机制的耦合分析待深化 该工作聚焦剖面设计，并固定使用三种代表性路由器进行评测，但**剖面与路由器的协同效应**未被充分探讨。例如，结构化剖面可能对某类路由器（如基于相似度）比另一类（如分类器）更重要，而论文未分析这种交互。从系统工程角度，剖面和路由器的联合设计往往能取得更好性能，但本文将它们解耦研究，虽有助于模块化，却可能忽略了**端到端优化**的机会。未来需考虑如何将剖面设计自动适配到特定路由器，以降低整体路由流水线的部署难度。