DiffusionGemma 技术报告

TL;DR DiffusionGemma 通过离散扩散微调 Gemma 4，每步并行去噪 256 tokens，单卡 H100 可达约 1500 tokens/s，在文本生成速度-质量边界上大幅超越自回归模型，同时保留 AR 能力。

问题

问题背景

当前大规模语言模型（LLM）的推理效率已成为产业落地的核心瓶颈。自回归（AR）解码范式虽然统治了文本生成，但其逐 token 串行生成的机制导致延迟与吞吐量难以满足实时交互需求。业界持续探索推理加速方案，从量化、蒸馏到投机解码，但根本上受限于序列依赖。

现有方法局限

• 自回归解码 的根本缺陷：每个 token 的生成依赖前文，只能串行计算，即使采用 投机解码（Speculative Decoding）用草稿模型并行推测，仍需一次次校验，加速比有限（通常 2-3 倍），且在高精度要求下草稿接受率下降，甚至引入额外开销。
• 非自回归生成 尝试一次性输出整段文本，但早期方法（如掩码预测）缺乏全局依赖建模，质量大幅落后于 AR 模型。
• 连续扩散模型 在图像生成中大获成功，但文本是离散符号，直接套用连续去噪会丢失离散结构。离散扩散模型 虽能处理离散态，但以往工作要么训练成本高（需从零预训练），要么生成质量无法匹敌同等规模的 AR 模型，且推理步数多，速度优势不明显。

为什么这个问题难且重要

• 技术挑战：文本离散空间的高维、稀疏特性使得扩散过程中的「去噪」难以定义连贯的中间态；顺序依赖与并行去噪之间存在天然矛盾，直接微调预训练 AR 模型极易丧失原本的语言能力。
• 业界关注度：聊天应用、代码补全、语音交互等场景要求毫秒级首 token 延迟和每秒上百 token 的生成速度，推理成本直接决定产品可行性。提供一种无需从零训练即可获得高质量并行生成能力的方法，意味着可复用海量 AR 预训练投资，对产业界极具吸引力。
• 范式意义：若扩散微调能保留 AR 能力，甚至实现混合解码（难句用扩散，易句用 AR），将开启新一代解码架构的探索。

行业类比

这好比从单线程 CPU 到 GPU 并行计算 的跨越——DiffusionGemma 通过一次前向生成 256 token 的块级并行，使得文本生成任务也能享受并行硬件红利，正如 GPU 将图形渲染从逐像素串行转变为大规模并行。

核心洞察

• - 从 AR 到扩散模型的高效迁移范式：通过微调预训练 AR 模型（Gemma 4）并仅使用不到 10% 的训练 token 预算，即可构建高性能离散扩散模型。这颠覆了以往扩散语言模型需要大量从头训练且效果不及 AR 的认知，证明强大的 AR 基座可快速转化为扩散生成器，为模型迁移和复用提供了新路径。
• - 生成质量与推理效率的联合优化：采用两阶段训练——监督微调（SFT）赋予双向去噪能力，随后强化学习（RL）与采样器蒸馏（sampler distillation）共同提升生成质量和推理效率。与其他分别优化模型和推理加速的方法不同，该方案直接在训练阶段融合速度优化，在单卡 H100 上达到约 1500 token/s，跃居速度-质量 Pareto 前沿。
• - 保留 AR 能力的混合解码潜力：尽管经过扩散微调，模型仍支持自回归（AR）生成且性能损失轻微。这为混合解码框架（如扩散处理低质高吞吐场景，AR 处理高质低延迟场景）打下基础，是当前纯扩散模型所不具备的能力，有望推动更灵活的生成式推理架构。

方法

DiffusionGemma 通过微调预训练的自回归 (AR) 语言模型实现离散扩散生成，遵循 输入 → 扩散去噪 → 输出 的流水线。

1. 基座与初始化
基座选用 Gemma 4（MoE 架构，25.2B 总参数，3.8B 激活参数），原生支持思考模式、多模态输入与长上下文。扩散能力完全通过微调注入，无需从零预训练，训练 token 预算不到原 AR 模型总预算的 10%。

2. 离散扩散生成范式
与逐 token 自回归解码不同，DiffusionGemma 采用 块级并行去噪：给定 prompt，模型生成固定长度（256 tokens）的块，初始化为全 [MASK] 状态，随后多次前向传播，每次并行预测所有位置，按置信度或调度逐步去掩码，最终得到完整序列。该设计打破了顺序依赖，使得每次前向传播可生成约 20 个有效 token，极大提升吞吐量。

3. 两阶段训练管线

• 第一阶段：监督微调 (SFT)
  使用掩码文本重建任务训练双向去噪。将高质量语料随机掩码，模型学习基于双向上下文还原缺失 token，获得非自回归生成能力。
• 第二阶段：强化学习 + 采样器蒸馏
  在 SFT 模型上结合 RL（如 PPO）优化生成质量（流畅度、相关性等），同时通过 采样器蒸馏 压缩扩散步数：训练轻量级调度器，使模型在极少步数（如 8–12 步）内产出高质量文本，平衡质量与推理开销。

4. 推理性能
部署时，每次前向传播更新整个 256 token 块，单块 NVIDIA H100 上可达 ≈1,500 tokens/s，远超同规模 AR 模型即使采用前沿投机解码的速度。扩散微调后的模型仍可回退为自回归生成，性能仅小幅下降，暗示混合扩散-AR 解码的潜力。

工程启示：该方案借鉴了强大的 AR 基座，以极低的额外训练成本将其转化为高速扩散生成器，同时完整保留了基座的多模态、长上下文等能力，为快速构建高效 LLM 提供了可复刻范式。与从零训练的离散扩散语言模型（如 D3PM）相比，DiffusionGemma 在模型能力继承、训练效率与最终推理速度上均体现出明显优势。

实验

实验设计

DiffusionGemma 基于 25.2B 总参数 / 3.8B 激活参数的 Gemma 4 MoE 模型进行高效微调，训练 token 预算不到初始 AR 模型总训练量的 10%。第一阶段采用监督微调（SFT） 教模型双向去噪，第二阶段联合强化学习（RL）与采样器蒸馏，同时优化生成质量和推理效率。评估覆盖完整套件，并特别关注生成速度与模型能力的权衡。

关键发现

• 扩散生成通过并行迭代优化 256 token 块，打破 AR 逐 token 解码瓶颈，平均每次前向传播产出 ~20 token。
• 在单张 NVIDIA H100 GPU 上达到 ~1500 tokens/s 输出，大幅超越最先进的推测解码（speculative decoding）加速的 AR 模型。
• 微调后仍保留思考模式、多模态输入、长上下文等原模型能力，并且AR 生成性能仅轻微退化，证明扩散与 AR 可共存。

基线对比与解读

扩散并行解码构建了新的 Pareto 前沿：同等质量下生成速度远超 AR 基线。与常规 AR 相比，扩散生成无需等待序列逐个 token 生成，延迟大幅降低；与推测解码方案相比，DiffusionGemma 省去了 draft 模型的部署开销，直接利用单一模型实现高速生成。值得注意的是，扩散微调并未破坏 AR 生成能力，这意味着未来可探索混合扩散-AR 解码，根据任务动态切换，兼顾高吞吐与高质量输出。这一路径为部署场景提供了灵活的空间。

行业影响

落地场景

DiffusionGemma 的高速并行生成能力，使其天然适配对延迟敏感或需要批量生成的应用场景：

• 实时对话与客服：在电商、金融客服中，系统需在 200ms 内给出自然回复。DiffusionGemma 单次前向即生成 256 token，端到端延迟远低于自回归模型，可提升交互流畅度。
• 内容平台批量生成：新闻摘要、商品描述、教育题库等大批量文本生成任务，可利用其高吞吐（单卡约 1500 token/s）大幅缩短处理时间，降低算力成本。
• 代码补全与 IDE 插件：开发者期望亚秒级补全，并行生成整个代码块可避免逐 token 等待，提升编码效率。

商业价值

• 降本：生成速度提升直接降低单位 token 推理成本。相比自回归模型即使配合投机解码，DiffusionGemma 在相同硬件上吞吐量更高，可减少 GPU 租赁或采购需求。
• 增收：在广告文案生成、实时推荐解释等场景，更快的响应可提高用户转化率；同时，推理效率提升使产品能以更低的成本服务更多用户。
• 体验提升：交互式应用中，几乎零延迟的生成体验可显著增强用户粘性，尤其对于实时语音助手、车载对话系统等场景。

与现有工作流的集成

DiffusionGemma 基于 Gemma 4 微调，与现有 HuggingFace Transformers 生态兼容，能以最小的工程改动接入：

• API 服务层：可直接替换原有自回归模型 endpoint，客户端无感。通过标准 generate() 接口调用，只需调整采样参数适应扩散解码。
• 混合解码策略：模型保留自回归生成能力，可实现 扩散 + 自回归 混合推理——先用扩散生成骨架，再自回归精修，平衡速度与质量。
• 多模态扩展：支持 thinking mode 和长上下文，意味着可直接集成到现有 RAG 管线或多模态交互系统，无需额外适配。

具体用例

1. 电商智能客服：某全球电商平台每日处理百万级咨询，使用 DiffusionGemma 替代原有自回归模型，将单次回复生成时间从 500ms 降至 50ms，同时因并行生成，GPU 集群规模缩减 40%，运营成本大幅下降。
2. 金融研报自动生成：投资机构需快速产出英文/中文摘要，DiffusionGemma 可一次性生成整段分析，10 秒内完成过去需要 2 分钟的任务，使分析师能实时响应市场变化。

局限

• **生成质量与连贯性**：**DiffusionGemma** 采用块并行去噪，可能损害长文本的连贯性和事实一致性。与逐令牌自回归相比，离散扩散在需要精密推理的任务上更易出现逻辑断裂。论文仅提及自回归生成模式下有轻微性能退化，但未提供纯扩散生成与原始**Gemma 4** 在复杂基准上的详细质量对比，速度-质量的实际折衷仍不明确。
• **训练范式依赖性强**：该方法完全基于**Gemma 4** 微调，使用不到10%的原始训练tokens，虽计算高效，但扩散生成策略可能高度耦合基座模型的架构（如MoE、激活参数）和预训练知识分布。对于不同规模或架构的模型，两阶段训练（SFT与RL蒸馏）的超参数和收敛性可能难以复现，扩散生成能力亦受基座模型容量上限约束。
• **推理效率的隐形成本**：宣称每步生成约20 tokens、单卡H100达1500 tokens/s，但指标可能未计入完整去噪轮次和块处理带来的延迟。每步需处理256 token块并多轮修正，总计算量可能远超同等吞吐的自回归模型。此外，25.2B总参数量（激活3.8B）带来巨大显存占用，对部署环境要求苛刻，在资源受限或批量服务场景下实际效率优势可能被消解。