多头潜在控制：面向LLM智能体决策的统一接口

TL;DR 从冻结LLM的隐藏状态轨迹中学习轻量控制头，无需微调即实现代理的部署时决策路由与工具干预，最大可降低90%大模型使用率。

问题

问题背景

LLM 作为自主 agent 部署时，除了一步一步生成文本，还需要在推理过程中做出控制决策：是继续当前推理、还是推迟到更强模型（defer）、请求额外信息（clarification）、调用外部工具、或直接弃权（abstention）。这类决策直接影响 agent 的可靠性和成本，成为当前 agent 系统落地的核心难题。

现有方法局限

主流方案主要围绕输入侧信号展开：

• prompt-level routing 通过分析用户提示将请求分发给不同模型，但无法感知生成过程中模型内部状态的变化，例如模型对中间推理步骤的信心起伏；
• 外部编排器（orchestrator）单独运行一个决策模块，带来额外的推理延迟和系统复杂度，且决策与模型生成脱钩；
• 任务特定微调 直接修改模型权重来教授决策行为，不仅计算成本高，而且每当底层 backbone（如 LLaMA、Gemma）升级时都需要重新训练，维护负担重。

这些方法的共同缺陷是：忽略了 latent traces（模型隐状态轨迹）中蕴含的丰富信息——例如 token 置信度、推理路径的不确定性等——使得控制决策无法充分利用生成过程的内在信号，导致精度与效率难以兼得。

为什么这个问题既难又重要

从高维、上下文动态变化的隐状态中提取可靠的控制信号是巨大的技术挑战：隐状态并非直接对应明确的决策标签，且不同任务、不同 backbone 的表征分布差异显著。然而，若能以轻量方式从冻结模型中“读出”这些信号，将实现 后见之明 式的适配——不修改模型即可大幅改善多模型系统的质量–成本平衡。工业界对自适应路由和精准干预的需求极为迫切：在云端部署中，根据请求复杂度自动选择模型规格，可节省大量算力；在工具增强型 agent 中，减少不必要的工具调用或及时放弃低质量答案能直接提升用户体验。

行业类比

类似于现代云服务中的自动扩缩容（autoscaling）——通过监控实例的实时负载特征（如 CPU、内存）提前预测是否需要启动更大规格的资源，而非等到超时后才被动切换，从而在性能与成本之间取得最优平衡。

核心洞察

• - 潜在状态轨迹比纯输入信号更早且更丰富地反映模型的能力边界与不确定性，使得从部分生成过程中就能做出可靠的早期移交决策。 相比基于提示词路由或单独训练的分类器，本方法直接从冻结模型的隐藏状态中提取信号，既避免了额外推理成本，又能捕捉到推理过程中的动态变化，从而在路由系统中实现高达 90.7% 的大模型使用量下降且性能保持。
• - 多头部潜控制统一了“模型能否解决”与“如何解决”两个维度，用一个轻量层同时输出能力预测和行动决策，简化了 agent 系统的控制架构。 以往方案常需分离的路由器和工具调用规则，本工作将能力头与分辨率头联合训练在相同的潜在轨迹上，使得工具使用决策更准确（相对得分提升最高 +158%），并减少了遗漏必要工具调用 65.5%，展示了统一接口的工程优势。

方法

方法架构

Multi-Head Latent Control 是一种事后适配（post hoc adaptation）的轻量控制层，在冻结的 LLM/VLM 之上运行，从模型的隐状态轨迹（hidden-state trajectories）中直接预测推理时的控制决策。

输入：隐状态序列

输入为模型在生成过程中各层的 隐状态张量。这些轨迹捕获了模型对当前实例的“内部处理动态”，无需依赖显式提示或外部编排。

关键模块：双头预测

• Capability Head：一个分类器，用于判断当前模型能否解决该实例，或是应递延（defer）给更强协作模型。它从部分生成 prefix 的隐状态中提取信号，实现早期交接（early handoff），从而显著降低大模型的调用量。
• Resolution Head：一个多类分类器，预测模型应采取的行为模式：Clarification（请求澄清）、Tool Use（调用工具）、Abstention（拒绝回答）或 Direct Answering（直接回答）。该输出可直接驱动代理的下一步动作。

两个头均为轻量级（如单层 MLP），独立于模型结构，因此可零修改附加到任何冻结骨干上。

训练策略

训练数据仅依赖同一冻结 LLM 在任务上的隐状态及其对应决策标签（如是否成功、正确行为）。Capability Head 用二元交叉熵；Resolution Head 用多类交叉熵。学习到的信号反映了模型内部的任务适应度，而非仅表面 token 概率。

与现有方法的差异

与传统基于提示路由或任务特定微调不同，Multi-Head Latent Control 直接从生成过程的隐表示中驱动决策，无需修改模型参数，维护成本低，且可随骨干演进快速复用。

实验

实验设计

实验从三个维度评估 Multi-Head Latent Control (MHLC)：多模型协作路由、工具调用分辨率控制，以及前缀能力预测。路由实验在 AndroidWorld 和多基准组合（未具体列出）上测试小型/大型模型间的智能切换，评估 Capability Head 是否能用少量前缀的隐藏状态判定任务是否可解。分辨率实验使用 When2Call 数据训练 Resolution Head，让模型学会在直接回答/工具使用/澄清/弃权之间抉择。工具决策质量在 TriviaQA 网页搜索场景下验证，衡量得分和工具调用遗漏。所有实验均基于冻结的 LLaMA 或 VLM 骨干，仅训练轻量控制头，训练数据全部来自冻结模型自身产生的潜轨迹。

关键发现

• 多模型路由：在 AndroidWorld 上，最大可减少大型模型调用 90.7%，多基准平均减少 27–53%，且保持大型模型大部分性能，明显优于无控制的全量调用。
• 工具决策质量：分辨率头的介入使相对任务得分提升 +158%，同时错过必需工具调用的次数降低 65.5%，显示出更强的工具时机把控。
• 延迟敏感性：Capability Head 仅需少量前缀（如 3 层隐藏状态）即可做出准确预测，支持极早的推理停摆与路由。
• 消融实验揭示了层选择与训练数据广度的影响，中间层隐藏状态即可提供足够的控制信号。

与基线对比解读

现有方法多依赖提示级路由（如将任务描述交由大模型自评）或外部编排器，需额外多次解码或定制逻辑，成本高且与模型绑定。MHLC 直接从中间隐藏状态一次预测，无需解码步骤，推断开销极低。与基于置信度的路由相比，MHLC 利用的是生成过程的潜在充分性信号，而非表面的 token 概率，因此能更早判断任务难度。在工具使用决策上，分辨率头统一处理多种动作类型，相比为每种动作单独训练分类器，结构更简洁、泛化性更好。整体而言，MHLC 作为一种模型无关的后置适配方案，为多模型协作和代理决策提供了一个轻量、可插拔的控制接口。

行业影响

落地场景

Multi-Head Latent Control 适用于任何依赖多模型协作的 LLM Agent 系统，尤其适合需要在线决策的推理管道。典型产品形态包括：

• 多模型路由平台：如客服/代码助手，自动判断当前小模型能否解决，否则移交大模型，避免浪费。
• 工具增强型 Agent：在电商导购、金融分析等场景中，智能体需实时决定是否调用外部 API 或请求用户澄清。
• 安全与合规过滤：在医疗、法律等强监管领域，模型可主动 Abstention 以规避风险。

商业价值

• 降本：在 AndroidWorld 上，小模型+大模型路由方案减少大模型调用 最高 90.7%，跨基准平均减少 27–53%，对按 token 计费的服务可显著降低运营成本。
• 增效：工具调用决策质量提升，相对得分提升最高 158%，漏调必要工具的情况减少 65.5%，直接提高任务完成率和用户满意度。
• 体验：通过 Clarification 主动询问缺失信息，减少无效对话轮次，提升交互流畅度。

与现有工作流的集成

该方案以轻量级附加层形式工作，无需修改冻结的基座模型权重，可无缝嵌入现有推理框架。集成方式如下：

1. 旁路部署：在推理引擎（如 vLLM）中，从 Transformer 层提取隐藏状态，送入两个轻量 head（Capability Head、Resolution Head），生成控制信号。
2. 训练离线化：仅用模型自身生成的隐状态轨迹训练 head，不依赖额外标注，易于适配不同 backbone。
3. 成本极低：推理时仅在需要决策的 token 位置（如 prompt 结束或部分生成后）执行一次前向传递，几乎不增加延迟。

具体落地 Use Case

• 电商多模态客服：用户上传商品图片并提问，小 VLM 首先处理，Capability Head 判断若无法解答则路由至云端大模型，同时 Resolution Head 决定是否需要调用价格/库存 API，或要求用户补充尺寸信息。结果：大模型调用量减半，工具调用准确率翻倍。
• 金融投研助手：用户请求个股分析，小模型生成初步摘要，Latent Control 预测任务复杂度：简单疑问直接回答，复杂回溯测试则 defer 至更强模型，并自动触发 Tool Use 调取实时行情与财报数据，避免错误引导。

局限

• - **依赖冻结主干的潜在表征**：控制头训练时需要从特定 LLM/VLM 收集大量隐藏状态轨迹，一旦骨干模型升级或任务分布变化，需要重新采集数据并重新训练，这限制了模型的即插即用性和持续适配能力。此外，标签构造依赖更强的协作者模型或手工规则，可能引入系统性偏差，且对未见过的 agent 场景泛化性未经充分验证。
• - **决策粒度与延迟的权衡**：从部分生成的前缀预测能力需要设定前缀长度，而不同任务的最优前缀长度可能差异较大。过早决策可能损失准确率，过晚则失去早期切换的收益。论文虽做了前缀长度消融，但在动态、多步 agent 循环中，控制信号如何与实时交互（如工具调用返回结果后再次决策）稳定结合，尚未深入评估。
• - **实验覆盖面有限**：尽管在 AndroidWorld 和 When2Call 等基准上展现了路由和工具使用决策的提升，但多模态实验细节未充分披露，仅提及 VLM 骨干。真实世界 agent 任务往往涉及交错的多轮工具调用、多模型协同以及复杂的状态管理，当前评估可能低估了长期决策的累积误差和协同失败成本。