GQLA: 面向硬件自适应大语言模型解码的Group-Query Latent Attention

TL;DR GQLA 突破 MLA 硬件锁定，通过分组潜在注意力使单个模型暴露 MQA 和 GQA 两种解码路径，无重训练即可适配 H100 / H20 等不同 GPU，达到 roofline 最优并支持张量并行与多 token 预测。

问题

问题背景

大语言模型推理的 KV 缓存 膨胀与硬件效率之间的矛盾日益突出，注意力机制需要同时适应不同 GPU 的 compute-bandwidth 比，以实现最优的 roofline 利用率。

现有方法局限

Multi-head Latent Attention (MLA) 在 H100 上表现卓越，但存在三个硬件耦合缺陷：

• 训练权重仅暴露一个 MQA-absorb 解码路径（s_q=1），缓存格式固定；
• 高效推理绑定 H100 级高计算带宽比，在带宽受限的 H20 上无法利用 Multi-Token Prediction (MTP) 提升吞吐；
• 无法沿 head 轴进行 tensor parallelism，限制模型扩展和分布式推理。

MLA 的低秩潜变量压缩无法在不同硬件上切换缓存大小或并行策略，导致一套权重只能针对单一硬件优化，需要重新训练或定制 kernel 才能迁移。

为什么这个问题难/重要

不同 GPU 的算力与带宽比差异显著（如 H100 计算富余，H20 带宽受限），一种注意力结构很难在所有硬件上同时达到 roofline 最优。业界面临在异构集群中部署大模型的挑战，若按硬件分别训练，成本极高。

Group-Query Latent Attention (GQLA) 通过最小修改，使同一套权重暴露两条代数等价的解码路径：MQA-absorb 路径（压缩缓存，适合高算力硬件）和 GQA 路径（按组扩展缓存，支持张量并行和多 token 预测）。运行时根据硬件特性选择路径，无需重训或定制 kernel，即可在 H100 和 H20 上同时达到最优 roofline，并支持 up to 8-way 零冗余张量并行。这为实际部署中硬件自适应推理提供了工程化解决方案，降低了维护成本。

行业类比

如同 ONNX 提供跨框架的模型互通性，GQLA 让注意力权重实现跨硬件的自适应解码，一套参数即可在异构 GPU 上高效运行。

核心洞察

• **单组权重实现硬件自适应推理**。MLA 的 MQA-absorb 路径与 H100 类 GPU 的算力-带宽比紧密耦合，无法有效利用 H20 等带宽受限硬件的 GQA 并行优势。GQLA 在 MLA 基础上引入 `s_q>1` 的 GQA 路径，且该路径与 MQA-absorb 路径在代数上等价，从而允许同一组权重在不同硬件上选择不同解码策略——H100 上保持紧凑的 latent cache，H20 上启用 per-group 扩展 cache 配合多 token 预测（MTP）提升吞吐。这种设计消除了为不同硬件定制模型或重新训练的工程负担，对异构推理集群尤其有价值。
• **TransGQLA 实现预训练模型的零成本转换**。与 TransMLA 将 GQA 转换为 MLA 但丢失 GQA 路径不同，TransGQLA 通过合并分组头为 latent head、引入 RoRoPE 和 FreqFold 技术，将预训练 GQA 模型直接转换为 GQLA 格式，且转换后模型在 LLaMA-3-8B 上 MQA-absorb 路径的 per-token KV cache 仅为 GQA 基线的 28.125%，同时在 GQA 路径上保持与原模型同等的通信量。这意味着团队可用现有 GQA 生态的 checkpoint 快速获得硬件自适应能力，无需高昂的从头预训练，显著降低落地门槛。

方法

输入

输入为 Transformer 层的前一隐藏状态 x。GQLA 权重来自两种来源之一：直接从预训练的 GQA 模型通过 TransGQLA 转换得到，或从头预训练。TransGQLA 利用 RoRoPE 与 FreqFold 技术将 GQA 的分组头合并为一个潜在头，并在压缩 KV 的同时保持与原始模型等效的注意力输出。转换后的权重同时暴露 MQA-absorb 和 GQA 两条解码路径。

关键模块

GQLA 的核心设计是让一套训练参数支持两条代数等价的解码路径，无需重训练或自定义内核。

• 潜在压缩：与 MLA 相同，GQLA 先将 keys 和 values 联合投影到低秩潜在空间，再通过上投影矩阵恢复多头表示，从而大幅压缩 KV 缓存。
• 双路径解耦：
  • MQA-absorb 路径：将上投影矩阵吸收到查询和输出投影中，等效为 MQA，缓存大小仅与潜在维度相关。此路径在计算-带宽比高的 GPU（如 H100）上达到屋顶线效率，但无法沿头轴做张量并行，也不支持多 token 预测（MTP）加速。
  • GQA 路径：保留分组查询结构，缓存按组展开。每组的键值头可以独立计算，天然支持头轴张量并行（最高 8 路零冗余），且在带宽受限的 GPU（如 H20）上配合 MTP 获得吞吐提升。这两条路径通过选择分组数 g 和查询分头数 s_q 控制，同一组权重在 H100（s_q=1）和 H20（s_q=2）上均能钉住屋顶线。
• 稀疏扩展（可选）：Sparse GQLA 通过结构化稀疏掩码保证 GQA 路径的可行性，弥补了 Sparse MLA 只能锁定 MQA-absorb 路径的缺陷，并可组合 HISA 等稀疏注意力框架。

输出

输出为标准的多头注意力结果。推理时根据目标硬件特性选择解码路径：H100 类硬件走 MQA-absorb（极致缓存压缩），H20 类硬件走 GQA + MTP（扩展缓存换计算效率）。在 LLaMA-3-8B 上，MQA-absorb 路径的每 token KV 缓存被压缩至原 GQA 基线的 28.125%。

与同类方法的差异：GQLA 是 MLA 的最小修改，但解耦了路径选择与训练权重，使同一模型可在不同计算-带宽比的硬件上自适应最优推理模式，而 MLA 仅提供单一的高算力路径。

实验

实验设计

论文以 LLaMA-3-8B 的 GQA 检查点为起点，使用 TransGQLA 将其转换为 GQLA 模型，验证转换后的能力保留程度。实验未涉及从零开始的预训练，核心是代数等价权重变换：将 GQA 的分组头合并为低秩潜空间，同时保留两条解码路径（MQA-absorb 与 GQA）。评估聚焦于语言建模基准，并基于 roofline 模型 分析在 H100 和 H20 GPU 上的推理效率，未报告稀疏版本的实测。

关键发现

• KV 缓存极度压缩：在 MQA-absorb 路径下，每 token 的 KV 缓存缩减至 GQA 基线的 28.125%，大幅降低显存占用，适合 H100 级高带宽 GPU。
• 双路径硬件适配：同一组权重可在 H100 上使用 s_q=1 的 MQA-absorb 路径（最小缓存），在 H20 上切换到 s_q=2 的 GQA 路径并启用多 token 预测（MTP），无需重训或定制核函数。
• 能力无损转换：TransGQLA 转换几乎保留了原始 GQA 模型的全部性能，仅需少量继续预训练即可完全恢复，证明低秩压缩与分组查询结构的有效继承。

基线对比解读

相比 MLA，GQLA 的核心创新在于解耦训练权重与推理路径：MLA 仅暴露 MQA-absorb 路径，迫使推理始终依赖紧凑潜缓存，在带宽较低的 GPU（如 H20）上无法利用 GQA 的并行优势。GQLA 通过 g（组数）和 s_q（查询头每组的扩展因子）两个参数，在同一组潜变量上实现路径切换，从而让一个模型同时覆盖两类硬件的最优 roofline 点。这与 TransMLA（仅支持 MQA-absorb）形成对比，TransGQLA 在转换时即保持 GQA 路径的结构完整性，为后续稀疏化（如 HISA 组合）保留了兼容性。实际工程启示：模型权重可以预先制备为“硬件无感”的 GQLA 格式，部署时根据目标 GPU 的带宽算力比自动选择解码路径，避免为不同硬件维护多套检查点。

行业影响

落地场景

GQLA 使单一 LLM 权重自动适配异构 GPU 集群，解决现有 MLA 仅绑定 H100 类硬件、无法有效利用 H20 等中端 GPU 进行 多 Token 预测 (MTP) 与张量并行的痛点。典型场景包括：

• 云端推理 API 服务：同时维护 H100/A100 和更低成本 GPU 节点时，一个 GQLA 模型即覆盖所有硬件，避免维护多个模型变体。
• 企业私有化部署：硬件采购预算弹性大，部署环境从高端训练卡到推理卡不一，GQLA 能在不改变模型文件的条件下自动选择 MQA-absorb 或 GQA 路径，使延迟和吞吐更平滑。
• 实时多模态对话系统：例如全球电商客服、内容平台推荐解释生成，利用 GQLA 支持低端 GPU 上的高效推理，可在边缘节点或成本敏感区域部署相同模型。

商业价值

• 降本：无需为每种 GPU 重训或维护单独模型，TransGQLA 可将现有 GQA 模型（如 LLaMA-3）直接转换，节省训练成本；同时中低端 GPU 利用率提升，减少整体硬件支出。
• 增收与体验提升：GQA 路径结合 MTP 可有效提升吞吐，增加 API 调用容量或降低用户排队等待时间；在 H100 上则保持原有 MLA 级性能与极小 KV 缓存，提升高价值场景的并发响应能力。
• 硬件灵活性：模型能适应动态混合集群，避免因 GPU 型号限制而放弃某些低延迟或高吞吐需求的市场机会。

集成接口

GQLA 设计为无需自定义内核，可直接融入现有推理框架：

• 模型转换：使用 TransGQLA 从预训练 GQA 检查点一键转换，产出权重兼容主流格式（如 Hugging Face），转换后模型同时暴露两条代数等价的解码路径。
• 运行时决策：在 vLLM、TensorRT-LLM 等引擎中，通过配置参数 s_q 和组数 g 即可切换路径；系统可根据硬件计算‑带宽比自动判断最优路径（如 H100 选择 s_q=1 的 MQA-absorb，H20 选择 s_q=2 的 GQA + MTP），无需修改模型代码。
• 无缝兼容：转换后的模型仍可使用标准推理服务部署流水线（加载、量化、缓存优化等），且支持沿头轴进行零冗余张量并行（GQA 路径下可达 8 路），对现有分布式部署方案友好。
• 工程启示：GQLA 表明注意力机制可通过暴露多条静态等效路径，在不牺牲精度的前提下实现硬件自适应，为未来异构计算栈的模型设计提供了新范式。

局限

• - **硬件性能声明基于 Roofline 模型，缺失真实系统验证**。论文对 H100 / H20 的吞吐量分析完全依赖 roofline 建模，未在物理 GPU 上实测端到端解码延迟、显存占用及批处理扩展性。此外，**TransGQLA 的继续预训练恢复效果仅有投影估计，未完成完整训练流程**，这使得转换后模型的最终能力存疑，无法保证在长文本生成或数学推理等复杂任务上与原始 GQA 模型完全等价。
• - **实验规模与任务覆盖面有限**。所有实验基于 **LLaMA-3-8B** 单一模型尺寸，缺乏 70B、405B 等大参数量下的验证，而 MLA 类方法在更大模型上的压缩收益与数值稳定性可能不同。基准测试仅包含常见基准，**未测试长上下文、多轮对话和代码生成等对 KV 缓存敏感的场景**，无法充分证明 GQLA 在这些场景中仍能保持 MQA‑absorb 与 GQA 路径之间的无损代数等价性。
• - **稀疏变体未落地，路径选择策略未明确**。论文描述了 **Sparse GQLA** 以结合稀疏注意力降低计算量，但完全未提供任何实验结果或效率分析，其实际加速比和精度损失未知。同时，**解码时如何动态选择 MQA‑absorb 或 GQA 路径的策略未给出具体算法**，仅提及“运行时选择匹配硬件”，这在多租户或异构集群中可能导致不理想的调度，削弱了方法的工程实用性。此外，TransGQLA 的投影矩阵近似可能引入难以量化的分布偏差。