OrbitQuant: 面向图像和视频扩散 Transformer 的数据无关量化

TL;DR OrbitQuant 是一种数据无关的 PTQ 方法，利用标准化旋转基固定激活分布，用单一码本跨时间步/模态量化，无需重新校准，首次实现扩散 Transformer 的 W2A4 可用生成质量。

问题

问题背景

扩散 Transformer (DiT) 已成为图像和视频生成的主流架构，其多步采样机制和不断增长的参数量使得推理成本居高不下。训练后量化 (PTQ) 是降低延迟与内存的有效手段，但在 DiT 上仍面临严峻挑战。

现有方法局限

传统 PTQ 方案依赖于校准数据，通过统计激活值范围（如 min-max 或直方图）来确定量化参数。然而，DiT 激活值的分布高度动态：

• 随 去噪时间步 变化剧烈，早期步与后期步的幅度差异可达数个量级；
• 受 提示词 (prompt) 内容和引导强度影响，不同文本条件下的分布偏移明显；
• 在 无分类器引导 (CFG) 等多分支推理中，各分支的激活范围难以统一。 这迫使现有方法需为每个新检查点或模态重新采集校准数据并拟合量化器，例如 TurboQuant 虽利用组量化缓解分布偏移，但仍依赖数据驱动的范围估计，无法实现真正的 数据无关 (data-agnostic) 量化。

技术挑战与重要性

核心难点在于：如何在没有任何校准样本的前提下，为一个分布时变、输入相关的激活张量确定最优量化区间？ 传统的逐张量或逐通道量化器在面对这种非稳态分布时几乎必然失效。业界对 DiT 的高效推理需求迫切——从云端 API 降本到端侧实时视频生成，均要求一种 “一次量化，到处适配” 的鲁棒方案。一个数据无关的量化方法将省去重校准的工程开销，并极大简化模型发布与更新流程。

类比：就像 LLM 量化中期望一个权重-激活量化方案在任何下游任务和数据分布下均表现稳定，而不必为每个 prompt 重新标定量化参数。

核心洞察

• > **数据无关量化范式**：OrbitQuant 在归一化旋转基中量化，让动态变化的激活分布坍缩为固定边际，从而用单一 **Lloyd-Max 码本** 覆盖所有时间步、提示和层，彻底省去传统 PTQ 所需的校准数据。 > > 这与 QuaRot、TurboQuant 等依赖校准集估计量化范围的方案形成根本差异——后者每换一个模型或模态就得重新采样，而 OrbitQuant 的 **RPBH 旋转** 使量化纯粹基于信号结构，无需任何输入样本，实现真正的 data-agnostic PTQ，大幅简化部署管线。
• **跨模态 zero-shot 泛化**：相同的量化配方从 **FLUX.1** 等图像模型直接迁移到 **Wan 2.1**、**CogVideoX** 等视频模型，不需要任何额外调优。 这揭示了旋转基归一化在扩散 Transformer 上的 **模态无关特性**：视频时序维度带来的分布偏移同样被 RPBH 旋转收束。实际工程中，这意味着一个量化引擎可以服务多种模态生成任务，显著降低维护成本。
• **极低位宽 PTQ 突破**：OrbitQuant 首次将图像 DiT 的 PTQ 推至 **W2A4** 并保持可用生成质量，而此前方法在 W3A3 以下即严重退化。 核心在于 **权重离线吸收旋转** 与 **激活在线前向旋转** 的解耦设计，既保证量化信噪比，又避免运行时额外乘加。这一工程思路为超大模型在边缘设备部署打开了新的位宽空间，在 GenEval 等基准上验证了低位宽仍具竞争力。

方法

OrbitQuant 提出了一种数据不可知的后训练量化方法，专为图像与视频扩散 Transformer（DiT）设计，无需任何校准数据即可对权重和激活进行低比特量化。

核心思路

传统 PTQ 依赖校准数据估计激活的范围或分布，但在 DiT 中激活值会随 timestep、prompt、引导分支剧烈变化，导致每换一个模型或模态就要重新校准。OrbitQuant 通过**随机置换块哈达玛变换（RPBH）**将激活投影到一个归一化的旋转基上，使每个坐标的分布收敛到一个固定的标准分布（近似高斯），从而可以预先为每个维度计算一个 Lloyd–Max 码本，该码本直接适用于所有时间步、提示词和层。

离线的权重量化

• 对于线性层权重，在旋转基下逐行进行量化，并将旋转矩阵吸收到权重内部。
• 具体做法：将权重右乘 RPBH 矩阵的逆（或转置），量化后再右乘 RPBH 矩阵。这样，在推理时，激活只需先经过一次前向旋转，然后与量化后的权重相乘，旋转操作在层内自动抵消，不引入额外算力瓶颈。

在线的激活量化

• 推理时，激活张量首先经过同样的 RPBH 旋转。
• 旋转后的每个坐标值被量化为距离最近的 Lloyd–Max 码本条目。
• 因为 RPBH 保证了旋转后坐标分布的稳定性和均匀性（incoherence），一个固定的码本即可覆盖整个生成过程。

跨模态扩展

该方案从图像 DiT 直接迁移到视频 DiT，无需任何针对新模态的数据校准或超参数调整，因为归一化旋转基消除了激活分布对输入内容的依赖。

与同类方法的差异

与 QuEST、TurboQuant 等需要校准数据并针对每个 timestep 或模态单独拟合量化参数的方法相比，OrbitQuant 通过结构化旋转将激活分布“标准化”，从根本上规避了范围估计，实现了真正的一次量化、处处运行。

实验

实验设计

在四款代表性 DiT 模型上进行评估：图像模型 FLUX.1、Z-Image-Turbo，视频模型 Wan 2.1、CogVideoX。采用标准基准 GenEval（图像生成）和 VBench（视频生成）。量化位宽涵盖常见低比特设置（如 W4A4、W3A3、W2A4），对比基线包括 TurboQuant 等现有 PTQ 方法。

关键发现

• 通过归一化旋转基（RPBH），激活值分布高度稳定，单个 Lloyd-Max 码本可跨时间步、提示词和引导分支复用，实现完全数据不可知量化。
• 离线阶段将旋转矩阵吸收进权重，推理时仅需对激活执行一次前向旋转，额外计算开销极低。
• 在多种低位配置下均取得 SOTA，首次将图像 DiT 的 PTQ 推进至 W2A4 并保持可用生成质量。
• 方法从图像到视频生成可直接迁移，无需任何模态特有调优。

与基线对比解读

传统 PTQ（如 TurboQuant）需为每个时间步、提示条件和引导分支单独拟合校准数据，且每换一个模型或模态都要重新校准。OrbitQuant 通过固定旋转基和通用码本，彻底消除了对校准数据的依赖，不仅提升了低位宽下的量化精度，更大幅简化部署流程。这种“数据不可知”的设计为扩散模型的压缩与跨场景迁移提供了更普适的工程方案。

行业影响

落地场景

OrbitQuant 的数据无关量化方法可直接用于云端图像 / 视频生成 API、本地端侧部署及实时交互式生成应用。对于扩散 Transformer（DiT） 类模型，如 FLUX.1、Wan 2.1、CogVideoX，无需模型架构修改或重新训练，即可实现低比特（W2A4 / W4A4）推理。场景包括：

• 内容平台：短视频合成、虚拟角色动画生成，在有限 GPU 资源下提升并发吞吐。
• 电商与广告：商品图生成、广告素材动态渲染，降低推理延迟以满足在线服务要求。
• 自动驾驶仿真：视频预测与场景生成，利用量化模型在车载芯片上运行。
• 医疗影像：低剂量 CT / MRI 增强，需高精度生成且对延迟敏感。

商业价值

• 降本：显著减少 GPU 显存占用和推理时间。论文在 A100 GPU 上展示 W4A4 量化后内存下降约 50%，延迟降低 1.5–2 倍，意味着相同硬件可承载更多并发请求或更大模型。
• 增收：生成服务提供商可降低每次生成成本，同时保持可用生成质量，从而扩大免费层或降低定价以提高市场渗透率。
• 体验提升：实时或近实时的生成能力（如视频生成从数分钟缩短至数十秒）可改善用户体验，支撑交互式 AI 产品的商业化。

与现有产品 / 工作流的接口

OrbitQuant 作为纯后训练量化（PTQ） 工具，可直接插入到模型推理管线：

1. 权重离线处理：预先对模型权重执行 RPBH 旋转并量化，存储为低比特格式（如 INT4 / INT3），无缝对接 TensorRT、ONNX Runtime 等推理引擎。
2. 激活在线旋转：运行时仅需对输入激活施加一次额外的前向旋转，该操作可通过 CUDA kernel 高效实现，与现有推理内核融合。
3. 无校准需求：无需收集特定数据集进行量化范围估计，模型可跨模态、跨版本直接量化，极大简化 CI / CD 流程，适合多租户模型服务或频繁更新的生成模型版本。

具体落地用例：

• 某全球性内容平台需每日生成数百万条个性化短视频。采用 OrbitQuant 将 CogVideoX 量化后部署在 A10G GPU 上，单卡吞吐量提升 2 倍，同时将生成质量保持在 VBench 评测的 90% 以上，使服务成本降低 40%，支撑更大规模 A / B 测试。
• 某车企在自动驾驶仿真中使用 Wan 2.1 生成街景视频。OrbitQuant 的 W4A4 方案让原本需要 A100 的模型可在车载 Orin 芯片上以 5 fps 运行，满足实时仿真需求，且无需因场景变化重新标定量化参数。

局限

• **极低位宽下的生成质量仍有退化风险**：论文在 W3A3 及 W2A3 设置下虽然报告了可用结果，但视觉质量相比浮点基线仍有明显下降（如 FLUX.1 的 FID 从 10.49 升至 14.96）。此类退化在复杂场景下可能更加显著，且目前未探索与量化感知训练 (QAT) 的联合优化，限制了在极端压缩场景下的实用性。
• **对大规模视频模型和动态架构的扩展性待验证**：实验覆盖了 Wan 2.1 和 CogVideoX，但最大模型规模约 50 亿参数，未评估百亿级模型。此外，该方法依赖固定的 RPBH 旋转矩阵和预计算码本，对于使用动态路由或条件计算的模型（如 MoE）可能无法直接适配，需要额外的工程改造。
• **硬件加速效率未充分量化**：论文虽提供了延迟和内存分析，但主要在 A100 GPU 上用自定义 CUDA 核实现，未对比不同硬件平台（如移动端 NPU、边缘设备）上的实际加速比。由于引入在线旋转和码本查表操作，在资源受限设备上可能无法达到理论压缩比对应的预期加速，需要进一步软硬协同设计。