面向异构多智能体 LLM 的无预填充跨家族 KV Cache 迁移

TL;DR HeteroFold 让异构 LLM 之间直接跨家族复用 KV cache，免去接收方 prefill，通过结构对齐与输出校准保持行为，长上下文下比原生 prefill 快 10.7 倍。

问题

问题背景

多智能体LLM系统正从单一模型组合转向 异构模型协同，各agent承担不同角色，通信效率成为关键瓶颈。

现有方法局限

基于文本的通信要求每个接收者重新 prefill 共享上下文，即使该上下文已被发送者处理过，造成大量重复计算。现有 prefill-free 缓存复用方法如 Dense Latent 和 KV Ridge 虽避免了prefill，但在跨模型家族转移时存在明显不足：

• Tokenizer差异：子词切分不一致导致token位置无法直接对齐，简单插值或线性映射会引入语义偏移；
• 模型深度差异：浅层到深层的层映射缺失有效对齐策略，粗暴跳过或重复层会破坏信息流；
• KV分布漂移：不同模型的KV表示在数值范围和注意力模式上差异显著，直接映射后接收者输出偏离原始行为，在长上下文下错误累积。

为什么这个问题难/重要

跨家族KV转移必须同时解决结构对齐、表示映射和行为校准，且要求发送者和接收者 保持冻结，不能进行任何微调。KV缓存尺寸庞大、层间依赖复杂，映射质量直接影响下游生成质量；一旦出现累积误差，多轮agent交互会迅速放大偏离。业界对低延迟、高吞吐的多智能体推理需求强烈，减少冗余prefill可显著降低服务成本与响应时间，因此该问题具有很高的工程价值。

行业类比

类比于多模态系统中不同编码器特征对齐，或联邦学习中异构模型聚合，都需要在不改变原模型的前提下实现高效信息传递与融合。

核心洞察

• 跨模型家族 KV cache 迁移的关键障碍不是维度映射，而是接收者行为偏移。已有 prefill-free 方法如 Dense Latent 和 KV Ridge 主要解决 cache 维度差异，却忽略了直接映射后的 cache 可能使接收者输出分布偏离其原生预填充结果。HeteroFold 通过 output-aware calibration 对映射后的 cache 进行校准，在冻结接收者参数的前提下显式优化其输出保真度。这一设计直击跨家族迁移的语义鸿沟，解释了为何 HeteroFold 在四个长上下文基准上全面超越 baselines，也提示实际工程中仅做空间对齐不足以保证 cache 复用质量。
• HeteroFold 提供了一种冻结两端模型、仅训练轻量映射层的跨家族 KV 复用范式，适合实际异构多智能体系统的即插即用集成。与需要同构架构或微调接收者的方案不同，HeteroFold 将 token 对齐、layer 对齐、moment-matched recoloring 和校准封装为可复用的 adapter，发送者无需任何改动即可完成 cache 转移。该设计降低了部署门槛：工程团队可以将不同家族模型自由组合成多智能体角色，避免为每次通信重新 prefill，从而在保持模型能力的同时显著降低端到端延迟，且无需协调模型提供商进行权重更新。

方法

输入与目标

HeteroFold 接收发送方模型已计算的 KV cache（可能来自不同家族、不同 tokenizer、不同层数），以及接收方模型（保持冻结）。目标是让接收方跳过 prefill，直接使用发送方的 cache 进行后续推理。

关键模块

1. Token 与 Layer 对齐：处理 tokenizer 差异导致的 token 位置错位，以及模型深度不同带来的层数不匹配。通过映射 token 序列和层索引，将发送方 cache 的 token 维度和层维度调整到接收方结构。
2. Moment-Matched Recoloring：将发送方 cache 的表示空间变换到接收方空间。利用统计矩匹配（如均值、方差对齐），对 key 和 value 张量进行线性或非线性重着色，使其分布接近接收方模型内部激活。
3. Output-Aware Calibration：在少量校准数据上，以接收方模型输出行为为监督信号，进一步微调映射后的 cache，使最终结果尽量保持接收方原生 prefill 下的行为。校准目标同时考虑 key 和 value，并设计用于推理阶段的折叠策略。

输出

经过上述步骤，接收方直接使用映射并校准后的 KV cache 进行自回归生成，无需 prefill，实现跨家族、跨结构的 cache 复用。

差异点

相比 Dense Latent 和 KV Ridge 等方法，HeteroFold 同时显式解决了 token 对齐、层对齐和表示空间映射三个层面的差异，且无需训练任何模型参数，在保持冻结的前提下取得了更优的跨家族迁移效果。

实验

实验设计

作者在 六个跨模型家族传输方向 上评估 HeteroFold，覆盖 四个长上下文基准 和多个短上下文任务，并测试多智能体通信基准 HiddenBench。对比方法包括文本通信、Native Prefill 以及两个免预填充基线 Dense Latent 和 KV Ridge。度量指标包括任务性能和端到端延迟。

关键发现

• HeteroFold 在 所有四个长上下文基准 和大多数短上下文设置上取得 最佳缓存传输性能。
• 在 HiddenBench 多智能体基准上，HeteroFold 达到与 文本通信 相当的性能。
• 在 32K 上下文、Llama-3.1-8B→Ministral-3-14B 方向，HeteroFold 的预填充速度比 Native Prefill 快 10.7 倍，比 Dense Latent 和 KV Ridge 快 1.18–1.47 倍。

基线对比解读

Dense Latent 和 KV Ridge 等免预填充基线通常针对同构或有限异构场景设计，跨家族时面临 tokenizer 不匹配、层数差异和 KV 表示空间不一致等问题。HeteroFold 通过 结构对齐、矩匹配重着色 和 输出感知校准，在保持接收模型行为不变的前提下，实现了更稳健的跨家族映射。速度提升主要来自消除接收方预填充开销；相对于免预填充基线的加速倍数较小，但结合更优的任务保持能力，说明 HeteroFold 的转换效率与质量达到了更好的平衡。保持双方模型冻结也大幅降低了部署与维护成本，适合多智能体系统中异构模型的动态协作。

行业影响

落地场景

HeteroFold 适用于多智能体 LLM 编排平台，尤其是异构模型分工的场景。典型用例：

• 电商客服自动化：意图识别模型（如 Llama-3.1-8B）与产品推荐模型（如 Ministral-3-14B）共享用户对话上下文，避免接收模型重复预填充长会话历史。
• 企业知识库问答：检索模型与生成模型分属不同家族，共享上下文可降低首字延迟。
• 多阶段代码生成流水线：规划模型输出任务分解，编码模型复用其 KV 缓存，跳过重复上下文处理。

此类场景中，长上下文（32K+）通信频繁，预填充开销占比较高，HeteroFold 的跨家族缓存转移可直接嵌入现有 Agent 框架。

商业价值

• 降本：跳过接收端预填充，减少 GPU 计算时间。论文显示 Llama-3.1-8B→Ministral-3-14B 在 32K 上下文转移比 Native Prefill 快 10.7×，意味着相同推理服务吞吐下可减少 GPU 实例数量。
• 提升体验：降低多智能体协作的响应延迟，尤其适合实时交互产品（如对话式 AI）。
• 增收：使异构模型组合成为可行，减少为了复用缓存而强制统一模型家族导致的性能妥协，允许每个角色使用最优模型，提升整体任务完成质量，可能直接带来业务转化率提升。

与现有产品/工作流的接口

HeteroFold 以冻结模型 + 训练轻量映射器的方式工作，适合作为现有推理服务或 Agent 框架的插件：

1. 在模型间增加 KV 缓存传输层，将发送者缓存经 token/layer alignment 和 moment-matched recoloring 映射到接收者空间。
2. 集成到 vLLM / TensorRT-LLM 等推理引擎的自定义 KV 缓存管理模块，或作为 LangGraph / AutoGen 的中间件。
3. 部署时需加载每对模型家族的映射器权重（参数量远小于模型），推理阶段仅增加一次线性变换开销，不影响解码速度。

与 Dense Latent 和 KV Ridge 相比，HeteroFold 在跨家族方向上精度损失更小，可直接替换现有 prefill-free 方案而无需改动模型权重，对现有 stack 侵入性低。

局限

• **模型家族覆盖与校准成本** 是主要局限。论文仅在六个 transfer 方向（如 **Llama-3.1-8B → Ministral-3-14B**）上验证，模型架构集中于 decoder-only 自回归模型，尚未覆盖 MoE、encoder-decoder 或差异更极端的 tokenizer 场景。**HeteroFold** 的校准阶段需要访问 receiver logits 与一定量校准数据，每新增一对模型都要重新训练 mapper 与校准参数，维护成本随模型组合数平方增长。在需要动态加入新模型的多智能体系统中，这一离线准备流程可能成为部署瓶颈。
• **精度收益未超越文本通信**。在多智能体 benchmark **HiddenBench** 上，**HeteroFold** 仅达到与 text-based communication 相当的性能，并未显示 KV cache 复用带来额外质量提升。这说明映射后的 KV cache 仍存在与 receiver 原生分布不完全对齐的问题，尤其在需要长程推理或复杂上下文依赖的任务上，可能因 cache 噪声累积而降低回答质量。论文虽报告长上下文 benchmark 的 SOTA cache-transfer 表现，但未给出与 receiver 原生 prefill 的精度差距上限，对精度敏感的场景仍需谨慎。
• **与同类工作相比，加速收益幅度有限且依赖特定条件**。在 32K 序列长度下，**HeteroFold** 仅比 **Dense Latent** 和 **KV Ridge** 快 1.18–1.47 倍，且 sender-side 需要存储或传输额外的对齐映射参数，可能增加通信 latency 与显存占用。若多智能体系统频繁切换 sender/receiver 组合，在线映射成本可能抵消部分收益。此外，方法假定 sender 与 receiver 都能提供 KV cache，未讨论 sender 隐私保护或无法访问内部状态时的 fallback 机制。