KVarN: 方差归一化的KV-Cache量化缓解推理任务中的误差累积

TL;DR KVarN 通过 Hadamard 旋转与双尺度方差归一化，无需校准即可抑制 KV-Cache 量化在自回归解码中的误差累积，在 2-bit 推理任务上达到新 SOTA。

问题

问题背景

测试时缩放（test-time scaling）使大语言模型在复杂推理任务中能生成极长序列，但 KV-cache 内存占用随序列长度线性增长，成为部署瓶颈。尤其在 2-bit 等极低精度下，高效量化方案对规模化部署至关重要。

现有方法局限

当前 KV-cache 量化方法（如 KIVI、QuIP# 等）主要基于预填充（prefill）阶段的静态分布设计评估，未能充分考虑自回归解码中每步生成的动态误差累积。这些方法依赖校准数据，且未针对 token 维度的尺度失衡（token-scale outliers）做专门处理，导致量化误差主要体现在方向性错误而非单纯的幅度误差——即注意力输出的角度偏差会随生成步数层层放大，最终使长推理任务（如数学证明）的答案正确率急剧下降。此外，逐 token 累积的量化噪声会破坏注意力机制的 softmax 归一化特性，让早期 token 的误差污染整个后续序列。

为什么这个问题难且重要

推理任务的正确性高度依赖长距离 token 间的精确注意力交互，一个 token 的量化错误能通过自回归链持续传播，对后续所有 token 产生不可逆影响。这在 MATH500、AIME24 等需多步推理的基准中尤为明显，直接导致模型在低比特下无法有效思考。业界对长上下文推理的需求与内存成本之间的矛盾日益尖锐，亟需一种无需校准、能抑制误差累积的量化范式，以实现在保持推理质量的同时大幅降低内存开销。

行业类比

如同视频编码中 I 帧 的量化误差会扩散到整个 GOP，KV-cache 中早期 token 的量化噪声会持续扭曲后续所有注意力计算，波及代码生成、长文档问答等需要保持长程一致性的场景。

核心洞察

• KVarN 揭示了自回归解码中 KV-cache 量化误差累积的核心机制：错误主要源于 token 维度的异常尺度，而非通常关注的通道方向误差。以往量化方法多基于 prefill 阶段的误差分析，低估了 token 尺度 outlier 在逐时间步传播中的破坏性，因此在校准策略和评测上均存在盲区。KVarN 的这一发现为长序列推理的压缩瓶颈提供了新的归因视角，直接解释了为何现有方法在 MATH、AIME 等推理任务上失效。
• KVarN 提出 Hadamard 旋转与双轴方差归一化的组合，无需任何校准数据即可将 KV-cache 各维度的方差均匀化，同时抑制 token 和通道两个方向的 outlier。这种校准自由设计使其对数据分布无假设，部署无额外开销，且从根本上降低了自回归误差累积。相比依赖校准的 QuaRot 等方法，KVarN 在 2-bit 精度下于 MATH500、AIME24、HumanEval 等生成式基准上实现新 SOTA，证明了方差归一化对 token 尺度问题的高度针对性。

方法

输入：待量化的 KV 缓存

在自回归解码中，每个 Transformer 层的键 (K) 与值 (V) 矩阵随序列增长而线性扩展。KVarN 将这些矩阵作为输入，目标是在不依赖校准数据的前提下，将其压缩至 2 比特精度。

关键模块

1. Hadamard 旋转
   首先对 K 和 V 应用 Hadamard 变换，以均匀化通道间的分布、抑制异常值 (incoherence processing)，使后续量化误差分布更平坦。此步骤借鉴了量化中的旋转技术，但专门针对 KV-cache 的在线特性调整。

2. 双缩放方差归一化
   这是核心创新：沿 K、V 矩阵的两个轴（token 维度与通道维度）分别计算缩放因子，进行方差归一化。具体而言：

   • 对每个 token 计算其活化范数并缩放，消除 token 间尺度差异（token-wise variance normalization）；
   • 对每个通道计算其变化幅度并缩放，均衡不同特征维度的重要性（channel-wise variance normalization）。 两种归一化叠加后，量化误差不再受个别异常 token 或通道主导，从而阻止了误差沿解码步长的累积。该过程无需任何校准数据，完全在线执行。

3. 量化与反量化
   归一化后的矩阵进行均匀量化（如 2 比特），反量化时恢复原始尺度。量化后的 KV 缓存参与注意力计算，输出与全精度缓存高度接近的注意力输出（通过局部代理任务“注意力输出重建”验证）。

输出

低比特的 KV-cache，内存占用大幅降低，支持更长序列的测试时缩放推理，且在 MATH500、AIME24、HumanEval 等强推理基准上，2-bit 设置下性能损失极小。

与同类方法的差异

与需要校准数据（如部分 KV 量化方法 KVQuant、KIVI）或在预填充设定下评估的方案不同，KVarN 完全免校准，并直接针对自回归解码中的误差累积机理进行双轴方差归一化，从根源上抑制了 token 尺度错误引发的累积退化，而非简单优化单步量化损失。

实验

实验设计

KVarN 在自回归解码模式下评估，覆盖长序列推理与指令遵循任务。主要测试集包括 MATH500、AIME24、HumanEval 等生成式基准，同时附加 Line Retrieval 和 Needle-in-a-Haystack (NIAH) 评估长上下文召回能力。对比基线涵盖当前主流的 KV-cache 量化方法（如 SmoothQuant、ZeroQuant 等），所有模型均统一采用 2-bit 量化，记录端到端准确率和性能退化程度。此外，通过逐时间步误差跟踪分析量化误差在解码过程中的传播模式。

关键发现

传统 KV-cache 量化在自回归解码下存在显著的误差累积现象——随着生成步数增加，量化误差呈上升趋势，其根本原因并非个别通道的大数值，而是错误的 token 尺度（即单个 token 的 K/V 向量内部方差失控）。KVarN 通过Hadamard 旋转将离群值均匀散布，再结合双轴方差归一化（对 K 和 V 矩阵的行、列同时进行缩放），彻底修正了 token 尺度的偏斜，使量化误差在长序列上保持稳定。实验显示，该方法在 2-bit 精度下于 MATH500、AIME24 等复杂推理任务上全面超越现有基线，同时在 Line Retrieval 中几乎消除长程召回精度损失。

与基线对比的深入解读

相较于依赖校准数据的量化方法（如 SmoothQuant），KVarN 无需任何校准数据，完全依靠算法自身的旋转与归一化策略，这消除了因校准集不匹配带来的部署风险。更重要的是，现有方法多在 prefill 设定下评估，未能暴露自回归解码中的动态误差累积，而 KVarN 直接针对 token 尺度离群这一根源，因此在长序列任务上的优势尤为突出。例如，在 AIME24 的链式推理中，传统 2-bit 量化可能导致逻辑断裂，KVarN 仍能保持与全精度相近的推理连贯性，这归功于双缩放方差归一化对每 token 内部方差的均衡作用。同时，vLLM 的实现证明了其实用性，推理开销极低，为长上下文 LLM 部署提供了坚实的量化基础。

行业影响

落地场景

KVarN 直接瞄准大语言模型推理服务的内存瓶颈，尤其适用于需要长序列生成或长上下文推理的产品。典型场景包括：

• 代码辅助与自动化编程：处理长代码文件或多轮对话历史时，KV-cache 内存膨胀严重，KVarN 可在有限 GPU 内存下支持更长上下文和更高并发。
• 数学与科学推理：测试时缩放（test-time scaling）产生大量中间推理步骤，KV-cache 长达数万 tokens，量化可大幅降低硬件门槛。
• 长文档问答与知识库检索：金融、法律、医疗等领域需要分析长篇报告、合同或病历，KV-cache 压缩让单卡即可服务更大模型或更长文档。
• 对话式 AI 与智能客服：多轮对话历史持续累积，KVarN 提升内存效率，降低延迟，改善用户体验。

商业价值

KVarN 从降本和体验提升两条线创造价值：

• 显著降低推理成本：2-bit KV-cache 量化将缓存内存降至原来的 1/8，可在更少或更便宜的 GPU 上部署相同模型，或提升单卡 serving 的吞吐量，直接减少云服务/私有化部署的硬件开支。
• 提升服务质量与 retention：支持更长的上下文窗口，使产品能处理复杂、多步推理任务，避免因内存不足截断历史，提升用户满意度和付费意愿。
• 降低集成复杂度：完全校准无关（calibration-free），无需收集校准数据或调参，减少 MLOps 维护成本，加速从实验室到生产的转换。

与现有工作流的接口

KVarN 设计为轻量级插件，已集成进 vLLM 推理框架（GitHub 仓库提供实现），可通过配置直接启用。其工作流集成特点：

• 即插即用：无需模型重训练或校准，在现有推理引擎中增加 Hadamard 旋转与双缩放方差归一化步骤即可。
• 与权重量化正交：可与 GPTQ、AWQ 等模型权重量化方法组合使用，进一步压缩总体内存。
• 兼容主流推理优化：可与 PagedAttention、continous batching 等机制协同，不破坏原有调度逻辑。

具体落地 Use Case

1. 自动化代码生成平台（如 GitHub Copilot 类服务）：用户提交的长代码文件或持续交互历史生成大量 KV-cache，采用 KVarN 后，单 GPU 可支撑更多并发请求，避免 OOM 导致的服务降级，同时保持 2-bit 量化下 HumanEval 基准的精度几乎无损。
2. 金融投研文档分析：分析数百页的年报或合同条款时，长上下文加载使 KV-cache 成为瓶颈，KVarN 允许在内存受限的私有化服务器上运行 70B+ 模型，提升长文本信息抽取的完整性，辅助投资决策。

局限

• **维度限制与填充开销**：KVarN 依赖 Hadamard 旋转，要求 K 和 V 矩阵的 head_dim 为 2 的幂或特定大小（如 128、256），但不同模型可能存在非标准维度。论文在附录 E 承认适用维度需为 2 的整数次幂，对于不满足的层需填充（pad）至最近幂次，这引入了额外的内存和计算开销，且填充策略对低比特量化的影响未充分分析。此外，双尺度方差归一化的 smooth factor 选择对分布敏感，虽声称校准无关，但在维度变化时可能需重新配置，工程落地时会增加适配成本。
• **模型架构覆盖有限**：实验仅在 LLaMA、Mistral 等密集 Transformer 架构上验证，未覆盖 MoE 模型（如 Mixtral）或非 Transformer 结构。虽然方法本质是校准无关的，但 Hadamard 旋转的有效性依赖于通道间相关性的减少，不同架构中的 K、V 分布差异可能影响误差抑制效果。缺乏在更大规模模型（如 70B+）或特殊注意力机制（如 GQA、MQA）下的消融，限制了该方法的泛化宣称。
• **未与缓存驱逐/合并协同**：KVarN 专注于量化压缩，未考虑与 KV 缓存驱逐或令牌合并等正交压缩策略的结合。在超长序列（如百万 token）下，仅靠 2-bit 量化可能不足，联合方案或能进一步提升压缩率。此外，论文主要评估 2-bit 精度，对 1-bit 等更低比特的表现未探索，极限压缩下的误差累积问题未被验证。