Gated DeltaNet-2: 在线性注意力中解耦擦除与写入

TL;DR Gated DeltaNet-2 将线性注意力的擦除与写入解耦为**通道独立门控**，打破原有标量门控共享限制，显著提升长上下文建模与检索性能。

问题

线性注意力 在序列建模中将无界的 softmax 缓存替换为固定尺寸的递归状态，使序列混合降为线性复杂度，解码仅需常量内存。然而，如何高效编辑这种压缩记忆，在不扰动已有关联的前提下遗忘无用信息并写入新内容，始终是核心难题。

现有 Delta 规则 模型（如 Gated DeltaNet、Kimi Delta Attention）通过从当前值中减去已读取内容来抑制冗余写入，KDA 进一步引入 逐通道衰减 来增强遗忘。但它们仍使用单一标量门控同时控制两个不同操作：在键侧决定清除多少旧内容，以及在值侧决定提交多少新信息。这种“擦除-写入”绑定导致记忆更新受限——要么两者同步受抑制，要么同步放大，无法灵活地弱化过时事实的同时强编码新关联，尤其在长上下文中容易造成信息覆盖或残留噪声。

解耦擦除与写入之所以困难，是因为需要维护通道级别的门控因子，并在并行训练时保持计算高效。标量门控的简洁性使其易于实现 chunkwise 形式与反向传播，而引入独立的 通道级擦除门 $b_t$ 和 写入门 $w_t$ 会带来状态更新与梯度计算的额外复杂性。但此问题又至关重要：大模型长上下文能力（如多跳检索、长文档问答）近年成为工业界焦点，线性注意力的记忆质量直接决定其能否替代标准注意力。

类比 大规模推荐系统的增量更新：一个用户兴趣状态（记忆）需要精细地根据新行为进行微调——既要过期不相关的点击（擦除），又要注入当前意图（写入）；若二者受控于同一强度参数，系统要么遗忘过快丢失长期偏好，要么写入不足错失实时需求。

核心洞察

• 解耦擦除与写入操作解决了线性注意力模型记忆编辑的耦合困境。之前的 Gated DeltaNet 和 KDA 用单个标量门同时控制关键侧的遗忘和值侧的写入，导致旧信息擦除不彻底或新信息写入受限，容易干扰已有记忆。本文引入通道级擦除门 b_t 和写入门 w_t，使模型能独立调节每个维度的清除与更新强度，在长上下文多键检索（RULER）上表现显著提升，因其避免了标量门控的僵化限制。
• 通道级门控与自适应衰减的统一推动了 Delta 规则模型的通用化。KDA 虽引入了通道衰减增强遗忘，但编辑操作仍受标量门掣肘；Gated DeltaNet 则仅采用自适应遗忘而无衰减。Gated DeltaNet-2 将分离的门控与通道衰减结合，当两门退化为标量时还原 KDA，进一步退化衰减则还原 Gated DeltaNet，形成更一般化的框架。这种统一不仅提升建模能力，还保持了高效的块并行训练（通过吸收衰减的非对称擦除因子和门控感知反向传播）。

方法

方法概述

Gated DeltaNet-2 将线性注意力中的记忆编辑解耦为独立的擦除和写入操作，解决以往模型（如 Gated DeltaNet、KDA）用单一标量门同时控制遗忘与写入的刚性约束。

核心流程：输入 → 关键模块 → 输出

• 输入：序列 token 经线性投影得到 query、key、value，并额外计算通道级擦除门 b_t 和写入门 w_t，两者均为与状态维度一致的向量。
• 遗忘与差分更新：使用 b_t 控制对旧状态的选择性遗忘，其作用等价于通道级衰减因子；同时遵循 Delta 规则，先读取当前 key 关联的记忆，从 value 中减去该读出值得到差分信号，再通过 w_t 控制新信息写入强度。
• 快速权重视角：整个更新过程可等价表示为快速权重形式，将 b_t、w_t 融入键值关联的构建中，便于推导高效并行算法。
• 分块 WY 训练：引入分块计算策略，将序列切分为 chunk，每个 chunk 内用 WY 分解（一种低秩表示）并行处理历史状态与当前乘积，同时把通道级衰减吸收进非对称的擦除因子，实现线性时间、常数内存的训练。
• 门感知反向传播：专门推导了考虑 b_t 和 w_t 的反向路径，避免直接对中间状态矩阵求逆的高昂开销，保证端到端高效训练。
• 输出：最终状态与当前 key 交互得到输出 token，可堆叠多层并混合其他注意力（如滑动窗口）构成混合模型。

与同类方法的差异

相比 Gated DeltaNet 的标量共同门和 KDA 的标量写入 + 通道衰减，Gated DeltaNet-2 首次在 Delta 规则框架内实现了完全通道级解耦的擦除与写入，使模型能更精细地控制记忆编辑，从而在长上下文检索任务上获得显著提升。

实验

实验设计

实验围绕 1.3B 参数 的 Gated DeltaNet-2 及其对比模型，在 100B FineWeb-Edu 语料 上进行自回归语言建模预训练。对比基线包括 Mamba-2、Gated DeltaNet、KDA 和 Mamba-3 变体，覆盖近期线性注意力与状态空间模型的代表性架构。评估维度分为三块：(1) 标准 语言建模困惑度 与 常识推理 (零样本 / 少样本)；(2) 合成与真实世界上下文检索 任务，验证模型在长上下文中精准调取信息的能力；(3) RULER needle-in-a-haystack 基准，专门测试长序列多键值查找场景，并同时考察纯循环推理与混合 (chunkwise) 设定下的表现。

关键发现

Gated DeltaNet-2 在所有比较模型中取得 综合最优 结果。其优势在 长上下文 任务上尤为明显：在 RULER 的多键检索设定中显著超越先前工作，并在循环模式与混合模式下均保持强劲。这源于 通道维度的擦除门 (erase gate) 与写入门 (write gate) 解耦设计，使得模型能够独立控制键侧旧内容清除与值侧新内容写入，避免单标量门同时决定两种操作带来的容量瓶颈。该设计在不增加显存或降低训练吞吐的前提下，提升了压缩记忆中关联编辑的精准度。

与基线的深度对比

相比 KDA 的通道衰减但仅单标量更新门，Gated DeltaNet-2 额外引入通道写入门，使“如何写入”从衰减中分离。与 Gated DeltaNet 相比，它继承了自适应遗忘和通道衰减，但通过解耦打破了标量门对擦除与写入的耦合限制。这种改动使得模型在需要精细记忆编辑的检索任务上收益最大，而传统线性注意力往往在此类任务中因过度压缩或错误覆盖而失效。实验表明，解耦门结构是可提升现有 Delta 类模型长文本能力的通用扩展，对工程落地而言，其提供的 chunkwise WY 算法与门感知反向传播 保证了与高效并行训练的兼容性，无需牺牲速度即可获得更强的记忆编辑能力。

行业影响

对工业落地场景的直接价值

Gated DeltaNet-2 将线性注意力中的擦除与写入解耦为两个独立的通道级门控 ( b_t 与 w_t ),显著改善了长上下文场景下的记忆编辑能力。最直接的落地场景包括:

• 长文档理解(法律合同、财报分析)
• 多轮对话系统(客服机器人、教育辅导)
• 视频/音频流式处理(会议纪要、自动驾驶感知)
• 需要精确检索的长上下文检索增强生成(RAG)

所有需要固定内存带宽、且对远期关联信息保持敏感的序列建模任务,均可从该架构获益。

商业价值与成本换挡

线性注意力将序列混合复杂度从 O(n²) 降至 O(n),而 Gated DeltaNet-2 通过更精细的记忆编辑,在同等计算预算下大幅提升长上下文准确率。其商业价值体现在:

指标	提升方向
推理延迟	解码阶段内存恒定,吞吐更高
硬件利用率	块状并行训练高效,可适配 GPU 张量核
长上下文性能	在 RULER 多键检索等任务上明显优于 Mamba-2 / KDA

这意味着同样的硬件可以服务更大上下文窗口的请求,或以更低时延达到同等质量,直接降低 serve 成本并改善用户体验。

与现有工程流的集成契合度

论文提供了块状 WY 分解和门控感知反向传播,可直接嵌入现有 Transformer 训练框架。换成该 token mixer 仅需替换注意力模块,同时保留残差连接、FFN、归一化等标准组件。此外:

• 可与 FlashAttention 类似的分块策略结合,适应变长序列与自动调优
• 支持递归解码(RNN 模式流式输出),适合线上低延迟服务
• 开源实现 NVlabs/GatedDeltaNet-2 可直接集成进 PyTorch / vLLM 等生态

典型工程用例

1. 电商客服摘要与检索 — 用户可能跨越多天、多次交互,支持模型在数万 token 历史中准确找回先前承诺的退款金额或订单状态,减少重复提问。
2. 金融研报生成 — 输入数百页 10-K 财报与相关新闻,模型需在固定内存下精确提取关键数据点(如营收、风险因子),避免因记忆混淆产生错误引用。Gated DeltaNet-2 的通道级擦除能更好地保留不同实体间的独立表示。

局限

• 实验规模有限，仅在 1.3B 参数、100B tokens 上训练，未验证更大模型（如 7B、13B）或更大数据量下的效果。这限制了方法在主流大规模模型中的通用性，可能在不同容量下门解耦的收益出现变化或边际递减，工程落地时需进一步投入验证成本。
• 评估任务平衡性不足，主要优势集中在 **RULER** 等长上下文检索合成基准，而语言建模困惑度、常识推理等基础指标相比 **Mamba-2** 等基线提升幅度并不显著。这种任务偏置可能导致在真实长上下文应用（如长文档理解、代码生成）中性能增益有限，未能完全反映解耦门控在通用语言任务上的价值。
• 引入通道级擦除门和写入门虽然解耦了擦写操作，但每个通道单独门控会增加参数和计算开销，尤其在特征维度大的情况下。论文虽提供分块并行实现，但相比于标量门控的 **Gated DeltaNet** 或 **KDA**，训练和推理延迟可能上升，对显存带宽的需求也会提高，限制了在延迟敏感场景下的部署。