线性注意力架构：机制、权衡与跨层路由

TL;DR 系统比较Softmax注意力与四种DeltaNet系线性注意力架构，提出跨层值路由机制，在350M参数下验证：Kimi Delta Attention + Muon优化器损失最低，纯Gated DeltaNet吞吐最高。

问题

问题背景

在大模型语境窗口持续扩大的趋势下，自注意力 (self-attention) 的 $O(L^2)$ 内存与计算开销已成为训练与推理的主要瓶颈。业界日益关注替代性的 线性注意力 (linear attention) 架构，它们将复杂度降至 $O(L)$，从而支持长序列建模。

现有方法局限

近年涌现多种线性注意力变体，如 DeltaNet、Gated DeltaNet、Kimi Delta Attention 和 Gated DeltaNet-2，均试图在递归框架下重写自注意力的记忆更新规则。然而，这些方法在以下方面缺乏系统比较：

• 记忆控制：不同架构在状态衰减、擦除门、写入门的语义上差异很大，但缺少统一的数学表示来显式量化其表达力边界。
• 训练效率：纯线性堆叠与混合堆叠 (softmax + linear) 在训练吞吐量、优化器敏感度、学习率鲁棒性上的权衡尚未被标定。
• 跨层交互：更深层的记忆重用机制（如传递下层写入误差或值）几乎没有被探索，而这对充分利用深层记忆能力至关重要。

为什么这个问题难/重要

• 设计空间庞大：线性注意力的核心在于以递归形式实现“写入”操作，但不同的门控策略、归一化选择、键值投影方式构成了组合爆炸，单独评估每个变体的边际收益成本极高。
• 实际部署的多目标优化：工业界需要同时兼顾 验证损失 (validation loss)、训练吞吐量 和 推理延迟，而线性架构通常在损失与速度之间折中，纯靠最终精度选型可能牺牲硬件效率。
• 长上下文需求紧迫：从代码仓库理解到多轮对话记忆，序列长度已从千 token 级向百万 token 级跃进，二次复杂度方案在算力和显存上均难以为继，线性注意力是少数有希望破局的路径之一。

行业类比

如同在 长文档问答 Agent 中，既要精准检索百页 PDF 中的关键事实，又要控制每次调用的计算延时，线性注意力架构的选择直接决定了系统在“记忆持久度”与“实时响应”之间的平衡点。

核心洞察

• 统一循环记忆表示法揭示了线性注意力架构的设计空间与权衡：通过将 DeltaNet、Gated DeltaNet 等统一为记忆写入/擦除控制的循环形式，本文阐明了它们在记忆衰减、门控、写入规则上的本质差异，超越了以往孤立对比，为从业者提供了选择架构的系统性依据。
• 优化器选择和堆叠策略对训练效率与模型质量的影响被低估：实验表明，Muon 优化器虽能稳定降低验证损失，但最高训练吞吐量由 AdamW 搭配纯 Gated DeltaNet 获得；混合堆叠（部分层用线性注意力）改善损失却增加成本。这提示在实际部署中，需根据任务侧重点（质量优先 vs 速度优先）来联合选择架构与优化器。

方法

本研究将线性注意力统一为一种递归记忆框架：以 key、value、query 作为输入，维护一个可更新的记忆矩阵，每个 token 的注意力输出为该记忆的检索结果。在此框架下，四种架构的核心差异体现在记忆更新规则上：

• DeltaNet：使用 delta-rule 更新，用当前 query 与记忆检索结果的误差作为写入信号，实现无门控的纯粹误差修正。
• Gated DeltaNet：在 delta-rule 基础上引入门控机制，控制记忆的擦除与写入强度，增加表达性。
• Kimi Delta Attention：进一步细化了写入控制与记忆衰减，通过分离的输入门和遗忘门实现更灵活的序列建模。
• Gated DeltaNet-2：另一种门控变体，调整了门控位置与计算方式，旨在平衡吞吐量与建模能力。

在此基础上，作者提出跨层路由机制，尝试在不同层之间传递写入相关信息以提升深层纯线性堆栈的性能：

• Cross-Layer Error Residuals (CLER)：将低层的 delta-rule 写入误差直接作为下一层 value 目标的一部分，期望修正误差的传播能改善建模。
• Cross-Layer Value Routing (CLVR)：改为将低层实际写入的 value 投影后馈入下一层的 value 流，绕过误差信号直接传递已存储信息。实验表明 CLER 无收益，而 CLVR 能带来适度改进。

实验流程为：在 350M 参数规模、15B token 的训练设定下，对比纯线性堆栈、混合堆栈（交替线性注意力与 softmax 注意力）以及不同优化器（AdamW 与 Muon）对验证损失与训练吞吐量的影响。同时测量序列长度增长时的迭代时间变化，并单独扩大了 DeltaNet 至 1.3B/3B 进行下游评估。核心发现：Kimi Delta Attention + Muon 取得最低验证损失；纯 Gated DeltaNet + AdamW 具有最高训练吞吐量；混合堆栈以吞吐量换取损失改善；Muon 优化器普遍压低了最终验证损失。

与以往孤立地提出新线性注意力变体的工作不同，本研究的差异点在于建立了统一的递归记忆表述，对代表性架构进行了公平、多维度的对比，并探索了低成本的跨层信息传递，为线性注意力在长序列场景的工程落地提供了可复现的基线。

实验

实验设计

研究围绕 350M 参数 模型进行 15B tokens 规模的预训练对比，系统评估 Softmax 注意力 与四种近期 循环线性注意力架构：DeltaNet、Gated DeltaNet、Kimi Delta Attention 和 Gated DeltaNet-2。核心变量包括：

• 优化器：对比 AdamW 与 Muon 的效果；
• 堆栈类型：纯线性注意力堆栈 vs. 混合堆栈（部分层使用 Softmax 注意力）；
• 序列长度：测试不同上下文长度下的训练吞吐和迭代时间；
• 模型规模：额外运行 1.3B 和 3B 参数的 DeltaNet；
• 跨层路由：提出 Cross-Layer Error Residuals (CLER) 和 Cross-Layer Value Routing (CLVR)，探究层间记忆传递。

所有速度指标仅指训练吞吐量，未提供推理基准。

关键发现

在 350M/15B 搜索空间中，Kimi Delta Attention 配合 Muon 优化器取得最低的最终验证损失；而纯 Gated DeltaNet 堆栈配合 AdamW 则达到最高的归一化训练吞吐量。

• Muon 优化器 在所有匹配的架构设定下均能较 AdamW 稳定降低验证损失；
• 混合堆栈 一般能以牺牲吞吐量为代价换取损失改善；
• 序列长度扩展实验凸显了线性注意力在长上下文训练时的效率优势；
• 跨层路由方案中，CLER 并未带来提升，而 CLVR（将下层的写入值而非误差路由至下一层）使 DeltaNet 和 Gated DeltaNet 的验证损失均有小幅降低。

与基线对比的解读

该工作将四种线性注意力统一于递归记忆 notation，清晰对比了各自的表达力、记忆衰减、擦除与写入控制。与 Softmax 基线相比，线性注意力在理论上牺牲了 token 级的动态检索能力，但换取了线性复杂度的长序列可扩展性。实验数据表明，选择何种线性架构与优化器之间存在明显的联合效应：单独追求最低损失或最高吞吐会导致不同的帕累托最优解，这为工程选型提供了实用参考。跨层路由的尝试进一步表明，在 DeltaNet 类模型中，层间直接传递记忆状态的价值量比传递更新误差更有效，但其增益有限，未来工作可探索更复杂的路由门控。

行业影响

落地场景

线性注意力架构直接适用于需要大规模长上下文处理的 AI 产品，尤其是在以下方向可降低计算成本并扩展能力：

• 长文档理解与生成：法律合同审查、学术文献综述、长报告摘要等场景，传统 softmax 注意力因二次复杂度难以处理全文，而 DeltaNet 或 Gated DeltaNet 可将上下文窗口扩展至 32k 甚至更长 token，且保持训练和推理效率。
• 对话式 AI 与记忆管理：客服聊天机器人或 AI 助手需要记住完整会话历史，线性注意力的循环记忆机制能持续更新状态，避免每次推理时重新扫描全部历史，从而在长期交互中保持低延迟。
• 视频理解与多模态长序列：视频帧采样后形成超长 token 序列，利用 Kimi Delta Attention 的快速衰减和写控制可高效捕捉跨时间依赖，适合视频摘要、动作检测等任务。
• 代码生成与代码库理解：大型代码库或长函数上下文（如长 Chain-of-Thought）受益于线性注意力的常数内存与计算开销，使模型能更完整地理解跨文件依赖。

商业价值

• 降本：训练和推理时长随序列长度线性增长而非二次增长，直接减少 GPU 小时消耗。文中数据显示纯 Gated DeltaNet 堆叠在保持竞争性损失的同时达到最高归一化训练吞吐量，意味着相同训练预算可以训练更多步数或更大模型；推理阶段的长上下文请求成本大幅降低，有利于大规模部署长上下文服务。
• 增收与体验提升：更长的上下文窗口能提供更连贯、更个性化的用户体验（如更完整的对话记忆、更长的文档分析），从而提升产品竞争力与用户粘性。在需要长上下文的场景中，线性注意力使产品得以实现此前因成本过高而不可行的功能。

与现有产品和工作的集成方式

• 渐进式替换或混合堆叠：线性注意力层可直接嵌入现有 Transformer 架构中。论文表明混合堆叠（部分层用 softmax 注意力，部分用线性注意力）虽牺牲一定吞吐量，但能降低验证损失。工程上可将新的长上下文任务交给线性注意力层处理，而保留成熟的 softmax 层处理短程依赖，无需重建整个训练管线。
• 训练优化器切换：若追求最佳验证损失，可采用 Muon 优化器搭配 Kimi Delta Attention（文中最优组合），而AdamW 在纯 Gated DeltaNet 上吞吐量最高。团队可根据硬件资源与目标（更优损失 vs. 更高吞吐）灵活配置，无需大幅调整训练超参数。
• 具体用例：
  1. 电商平台的多语言商品描述生成：给定大量商品属性和用户评价，需生成长篇幅的多语言描述。使用 Gated DeltaNet 堆叠可一次处理数千 token 的完整信息，减少截断损失，同时保持高训练吞吐量以快速迭代模型。
  2. 金融研报自动化分析：处理上百页的上市公司年报并提取关键指标，利用 DeltaNet 的循环记忆增量式读入长文档，避免切分文档导致的上下文断裂，并在推理时保持较低的硬件成本。

局限

• **缺乏推理速度基准**：论文明确声明未提供推理阶段的吞吐量或延迟测量，仅报告了训练吞吐量（见摘要及第7节）。在实际部署中，线性注意力架构的核心优势在于长序列推理的高效性，缺少这一指标使得架构选择对生产环境决策者的参考价值打折扣。此外，训练吞吐量对比受 batch size、序列长度分布及硬件利用率影响，结论未必能迁移到推理场景。
• **实验规模受限且任务覆盖不全**：主要实验围绕 350M 参数、15B 训练 token 的规模，尽管补充了 1.3B 和 3B 的 DeltaNet 运行，但未在所有架构上扩展。该规模仍远小于当前主流大语言模型的训练尺度，结论的泛化性存疑。下游评估仅包含少量任务，缺乏对长上下文理解、检索或生成任务的系统测试，难以全面反映不同注意力机制在真实应用中的表现差异。
• **Cross-Layer Routing 提升微弱且缺乏深入分析**：提出的 CLVR 机制在 DeltaNet 和 Gated DeltaNet 上仅带来“适度改善”（modest improvement），且另一种路由方案 CLER 未优于基线。论文未对失败原因做深度剖析，也未探索更多路由设计空间（如跨层门控、信息压缩），使得该创新点的贡献较为有限，更像是初步探索而非实质突破。此外，实验仅在 350M 参数级别验证，其在大模型或更大训练量下的可复现性未知。