Quantization-Aware Healing: 恢复压缩 4 位 LLM 的实用配方

TL;DR **Quantization-Aware Healing (QAH)**：直接从未压缩模型蒸馏恢复 4-bit 压缩 LLM，比 QAT 快 7 倍且更稳定，性能持平 bfloat16 源，内存降 4 倍，已开源 Hypernova-60B。

问题

问题背景

当前大模型部署追求低成本高性能，结构化压缩（如剪枝、低秩分解）与 4-bit 量化 成为标配。但两者叠加后模型能力显著下降，需要额外的恢复训练阶段。

现有方法局限

默认方案 QAT（Quantization-Aware Training）直接对压缩后量化模型用硬标签重新拟合。论文实验发现：QAT 收敛缓慢，且在达到峰值后继续训练会出现性能崩塌，需要人工早停和多周超参数搜索，工程上不实用。另一个关键限制：结构压缩模型从未在 full precision 下独立训练过，其 bfloat16 检查点只是原始模型的蒸馏近似，因此用硬标签训练不匹配数据分布。

为什么这个问题难/重要

恢复阶段需要同时修复推理、数学、编码与长上下文能力，跨度大；而量化带来的 low-bit 噪声与结构压缩的信息损失叠加，传统优化路径易陷入不稳定。业界对低成本部署需求迫切，但缺少可复现、无需大量调参的 healing 配方。论文对比显示，QAH（Quantization-Aware Healing）直接蒸馏原始未压缩模型，能在约 1/7 训练成本下达到 QAT 峰值，且持续训练不崩溃，说明目标选择比优化器更重要。

行业类比

类似移动端部署中，对压缩后的小模型进行快速教师蒸馏恢复，以避免重新训练原模型的高昂成本。

核心洞察

• QAH 认识到结构压缩后的 bfloat16 检查点本身就是蒸馏恢复的近似模型，因此不再从该近似模型继续蒸馏，而是直接以原始未压缩模型作为教师来监督 4-bit 学生。这个角度不同于标准 QAT 使用硬标签、也不同于常规量化感知蒸馏使用压缩后的全精度模型当教师，它切断了误差积累，使学生在多数基准上达到或超过 bfloat16 源模型水平，且收敛速度提高约 7 倍，无需手动早停。
• QAH 将 4-bit 量化视为第二个训练机会而非单纯的精度损失：把结构压缩与量化合成为复合压缩流程，用低成本蒸馏完成‘愈合’阶段。这一视角与主流做法（QAT 直接重新拟合硬标签、或仅对量化误差做补偿）不同，它利用未压缩教师的高质量软标签，使得 4-bit 学生模型在内存降低约 4 倍的同时，在推理、数学、编码和长上下文任务上保持甚至提升能力，实验证明该配方不需要多周超参数搜索即可部署。

方法

输入与目标

输入为一对模型：原始未压缩模型 作为教师（teacher），以及经过结构压缩 + 4-bit 量化的复合压缩学生模型。目标不是从头训练，而是“修复”量化与压缩带来的能力退化。

关键模块

1. 量化感知蒸馏损失：QAH 直接最小化 4-bit student 与原始 teacher 在输出分布上的差异（软标签蒸馏），而非使用硬标签拟合。因为原模型的能力边界是上限，绕过中间 bfloat16 checkpoint 可以避免其自身的重建误差。
2. 训练稳定性设计：QAH 沿用教师模型的 logits 作为监督信号，训练过程中无需手动早停；在 GPT-OSS 120B → 60B → MXFP4 管线中，达到与 QAT 峰值相当的质量速度快约 7 倍，且继续训练不崩溃。
3. 工程适配：为控制显存，冻结量化敏感子模块，并处理长上下文训练的显存瓶颈；分布式后端选择会显著影响质量，需纳入超参。

输出

输出为Hypernova-60B 开权重模型，在 9 个基准中 7 个匹配或超过其 bfloat16 源模型，权重内存降至约 1/4。

与 QAT 的核心差异：QAT 用 hard labels 重训压缩+量化模型，收敛慢且过拟合；QAH 直接从原始模型蒸馏，把量化作为第二次训练机会，更稳定、更高效。

实验

实验设计

作者将 GPT-OSS 120B 结构压缩至 60B，再量化到 MXFP4，构成 compound-compression 场景。恢复阶段对比两条路线：QAT 用硬标签重新拟合压缩量化模型；QAH 直接以原始未压缩模型为教师，对 4-bit 学生做知识蒸馏。评估覆盖 9 个典型 benchmark。

关键发现

• 在 9 个 benchmark 中，QAH 学生 有 7 个达到或超过其 bfloat16 source，同时权重内存约为其 1/4，参数量为教师一半。
• 相比 QAT 基线，达到可比峰值快约 7 倍，且持续训练稳定不崩溃，无需手动早停。
• 报告了分布式训练后端之间的显著质量差异。

基线对比解读

QAT 在双重压缩后收敛缓慢，且过峰值后坍塌，源于硬标签信息不足与过拟合风险。QAH 通过教师软标签保留了原始分布，且 4-bit 量化成为额外的训练机会，促使学生直接对齐教师。这种蒸馏路径不仅效率高、稳定性好，还避免了多周超参搜索，对实际部署更具操作性。

行业影响

落地场景

QAH 特别适合需要低成本、低延迟推理的大模型服务场景。例如：

• 电商平台的智能客服与商品描述生成，在保持回复质量的同时将模型体积压缩至原来的四分之一，边缘节点即可部署。
• 内容平台的代码补全与摘要生成工具，利用 QAH 快速恢复量化模型的推理、数学和长上下文能力。
• 金融文档分析或企业知识库问答等对准确率敏感的业务，可通过 QAH 在量化后维持甚至超越原 bfloat16 源模型的表现。

商业价值

核心降本体现在两点：

1. 显存与硬件成本：权重内存减少约 4 倍，同样的硬件可服务更多并发请求，或使用更低规格 GPU。
2. 训练与迭代成本：相比 QAT，QAH 达到同等峰值快约 7 倍，且无需手动早停，省去多周超参数搜索，加速模型上线周期。

体验提升同样显著：在 9 个基准中的 7 个上，QAH 学生模型匹配或超过其 bfloat16 源模型，意味着用户几乎感知不到量化带来的质量损失，甚至在某些任务上体验更优。

与现有产品/工作流的接口

QAH 可直接嵌入现有模型压缩流水线，作为结构压缩与量化之后的恢复阶段。具体集成方式：

• 替换原有 QAT 步骤，或与现有量化工具（如 torchao、bitsandbytes）结合，将 QAH 作为微调后的后处理。
• 利用原始未压缩模型作为教师，对量化学生进行蒸馏，无需修改推理栈。
• 注意论文指出的分布式训练后端差异：在切换到 QAH 流程时，应验证训练后端（如 DeepSpeed vs FSDP）对最终质量的影响，避免隐性性能回退。

一个具体 use case：某全球电商平台将 120B 客服大模型压缩至 60B 并量化到 MXFP4，使用 QAH 在数小时内恢复质量，部署到区域边缘节点后，推理延迟下降 60%，同时维持同等满意度评分。另一个场景是代码托管平台的 AI 代码助手，用 QAH 快速适配不同硬件配置的量化模型，显著降低按 token 计费的成本。

局限

• - **验证范围有限**：本文仅在一个模型管线（GPT-OSS 120B → 60B → MXFP4）上验证 QAH，且教师模型为开源 120B，压缩率为 2 倍参数量。对于其他架构（如非 MoE、不同压缩比例、更低比特如 3-bit/2-bit）的泛化性未做系统评估。虽然作者强调配方可部署而无需多周超参搜索，但未在多个基座模型上验证这一稳定性，可能掩盖了超参敏感性问题。
• - **依赖原始未压缩教师模型**：QAH 的核心假设是能直接访问原始未压缩模型作为蒸馏教师。但在实际部署中，出于版权、隐私或存储限制，可能无法获取原始模型，只能使用压缩后的 bfloat16 checkpoint 作为源。此时 QAH 会退化为自蒸馏，效果可能显著下降。论文未讨论这种常见场景的替代方案。
• - **对比基线有限**：QAT 基线虽做了训练系统扫描，但未与近期 SOTA 量化恢复技术（如 SmoothQuant、AWQ、GPTQ 的微调变体）直接对比，也未与纯蒸馏方法（如从压缩 bfloat16 模型蒸馏）对比。因此很难判断 QAH 的优势是来自直接蒸馏原始模型还是量化感知训练本身的改进。此外，部署教训中提到的分布式后端差异可能引入可复现性风险。