Bug or Feature^2: Weight Drift, Activation Sparsity, and Spikes

TL;DR 论文揭示了标准损失与正偏置激活函数交互导致的训练初期负权重漂移，量化了激活稀疏度与准确率的权衡，发现超过70%稀疏度后精度急剧下降。

问题

问题背景

现代神经网络架构（如 Transformer、ResNet）的训练动态虽经大量经验摸索，但权重漂移（weight drift）的底层机制仍未完全明晰。近期研究注意到，部分激活函数在训练早期会系统性地导致权重参数朝负方向偏离，这与激活稀疏性及表示崩溃现象密切相关。

现有方法局限

当前缓解激活稀疏或漂移的方案多为后验补偿：如重新加权损失、引入额外归一化层或手动调整学习率调度。这些方法缺乏对漂移内生性来源的严格刻画——它们将现象归因于数据分布或优化器选择，而忽略损失函数与激活函数偏置的交互才是根本驱动力。因此，现有措施往往是针对特定架构的临时修补，无法统一解释跨 MLP、ResNet、ViT、GPT 等架构的显著权重漂移。

为什么这个问题难/重要

难度在于，梯度符号期望的分析需在非线性激活与复合损失下严格证明，且漂移量级受网络深度、归一化层位置等多因素耦合。该问题重要之处在于：

• 直接制约模型容量：权重负漂移使大量神经元进入零激活区，造成高达 90% 的激活稀疏，触发“精度悬崖”；
• 影响计算效率：稀疏激活虽是潜在加速契机，但不可控的稀疏会破坏表示质量，而可控稀疏（如 Top-K）又易引入新不稳定性；
• 与新兴激活设计强相关：ReLU²、GELU² 等平方激活虽改善稀疏-精度权衡，却会放大 Transformer 中间层激活脉冲（spike），威胁训练稳定。

行业类比

同样受激活模式异常困扰的领域是大模型推理优化——例如在 MoE 路由或 LLM 推理解码中，不当的激活稀疏会导致 token 丢弃或延迟抖动，这与本工作揭示的“因激活偏置与损失耦合导致的不可控稀疏”本质相通，强调了从优化动力学源头设计激活函数的必要性。

核心洞察

• **权重漂移是优化过程的内在属性，而与数据无关。** 作者严格证明了在 MSE 或交叉熵损失下，正偏激活函数（如 ReLU、GELU、SiLU）使得预激活的梯度期望非负，从而在训练早期驱动下游权重向负值移动。这与常见的内部协变量偏移（ICS）不同，**漂移源于损失景观与激活偏置的相互作用**，而非数据分布变化。该理论统一解释了多种架构（MLP、ResNet、ViT、GPT-nano）中的负权重漂移现象，为重新审视现有初始化与归一化策略提供了基础。
• **激活稀疏度与模型精度之间存在陡峭的“悬崖”效应：当稀疏度超过约 70% 时，精度急剧下滑，但 ReLUfication 可近乎无损地恢复高稀疏度下的精度。** 实验覆盖 79 种配置，系统揭示了稀疏—精度 tradeoff 的阈值敏感性。**ReLUfication**（将已训练模型中的激活函数替换为 ReLU 或其变体）能在保持模型质量的同时，将激活稀疏度提升至 90% 以上。这一发现为 Transformer 推理加速提供了新的控制维度，尤其适合需要动态计算卸载的大规模部署。

方法

方法概述：从梯度偏置到可控稀疏性与尖峰抑制

论文围绕负权重漂移（Negative Weight Drift）这一核心现象展开，揭示了现代神经网络中激活稀疏性的起源，并提出了利用与矫正该漂移的方法。整体流程为：梯度期望分析 → 漂移实证验证 → 激活稀疏性控制 → 平方函数尖峰放大与裁剪稳定化 → 计算效率转化。

1. 梯度期望证明（输入：架构与损失函数；输出：漂移性质）

作者首先在初始化条件下严格推导：当采用 MSE 或交叉熵损失配合正偏置激活函数（如 ReLU、GELU、SiLU）时，对正预激活的梯度期望非负。这意味着在早期训练阶段，下游权重会系统性地被推往负值方向，即权重漂移。理论证明表明该漂移是优化算法固有的，与数据无关，且可推广至任意深度和局部连接模式。

2. 漂移跨架构实证（关键模块：多架构与激活函数测试）

在 MLP、ResNet-18、ViT、GPT-nano、MP-SENe 等多种架构上，使用不同优化器（SGD、Adam）和学习率组合进行验证。实验表明：

• 漂移程度随优化器、学习率变化，但始终存在。
• 即使将输入替换为随机噪声，漂移依旧发生，说明其本质为优化动力学驱动，而非数据分布导致。
• 所有测试的非对称激活函数（ReLU、GELU、SiLU）均观察到下游权重均值趋向负值。

3. 激活稀疏性的控制与权衡（输出：可控稀疏性及性能边界）

权重漂移与 ReLU 类激活结合，会产生高比例激活稀疏性（GPT-nano 中高达 90%）。作者引入两种稀疏化手段：

• 百分位中心化（Percentile Centering）：按层对激活值排序，仅保留高于某百分位的部分。
• Top-K 稀疏化：逐层保留绝对值最大的 K 个激活。

在 79 组配置下系统扫描后，发现一条清晰的准确率悬崖：当激活稀疏度超过约 70% 时，模型性能急剧下降。不同架构对稀疏性的容忍度不同，GPT-nano 等生成式架构对稀疏性更敏感。

4. 平方激活函数的尖峰放大与裁剪稳定化

ReLU²、GELU² 等平方激活函数能在 GPT-nano 上获得更好的稀疏-准确率折衷，但会病理性地放大中间 Transformer 层的激活尖峰（单个激活值出现异常大值）。分析表明尖峰源自层归一化与残差连接的相互作用，平方函数本身不引入尖峰，而是将现有漂移放大。通过 激活值裁剪（clipping）可抑制尖峰，同时保留平方函数增强表示能力的优势：裁剪版 ReLU² 性能超越未裁剪版，GELU² 裁剪后更是在 GPT-nano 上取得最低验证损失。

5. 计算效率验证

在 MaxViT-T 等视觉模型上实际测量吞吐量，证实通过激活稀疏性可获得可观的推理加速，且权重漂移在跨稀疏度边界时保持稳定，未破坏模型收敛性。

与同类方法的差异：现有稀疏激活研究多关注推理加速或偶然稀疏性观测，本文首次从优化梯度偏置角度揭示稀疏性的系统化起源，并将平方激活函数的尖峰不稳定性通过裁剪转化为可控优点，为设计高效稀疏训练与推理提供了新原理。

实验

实验设计

研究在 MLP、ResNet、ViT、GPT-nano、MP-SENe 等多架构上，使用 MSE / 交叉熵损失 与 ReLU、GELU、SiLU 等正偏激活函数组合进行训练，观测早期权重漂移现象。通过 Top-K 稀疏化 和 分位数中心化 (percentile centering) 实现可控的激活稀疏性，在 CIFAR-10 和 ImageNet-1K 上评估 79 种配置的稀疏-精度权衡。针对 GPT-nano 语言模型，测试 ReLU²、GELU² 等平方激活及剪裁变体的训练动态与下游精度。

关键发现

• 负权重漂移 是优化过程的内生特性，与数据无关：标准损失下，正预激活的期望梯度非负，导致下游权重向负值偏移。
• ReLU 下 GPT-nano 的激活稀疏度可达 ~90%，且存在尖锐的精度悬崖：当稀疏度超过 ~70% 时，模型准确率急剧下降。
• 平方激活函数（如 ReLU²）会病理性地放大 Transformer 中间层的激活峰值，但通过 剪裁 可消除该问题；剪裁后的 ReLU² 性能优于未剪裁版本，GELU² 在 GPT-nano 上取得最低验证损失。
• ReLUfication（将训练好的非 ReLU 模型替换为 ReLU）几乎无精度代价就能恢复高稀疏性。

与基线对比

传统 ReLU/GELU 激活在稀疏性和精度之间缺乏调控手段。本工作揭示了激活函数选择直接塑造稀疏-精度权衡：-> 平方函数 虽然能提升特征表达，但引入的峰值信号会破坏训练稳定性；剪裁机制 保留了平方激活的表征优势，同时抑制异常峰值，使模型在同等稀疏度下获得更好的验证损失。GELU² 相比未修改的 GELU 和 ReLU² 进一步降低了最终损失，剪裁 ReLU² 则超越未剪裁基线，表明通过简单非线性设计即可显著改善稀疏大模型的效率与质量。该结果为面向稀疏推理的硬件友好型激活设计提供了直接启示。

行业影响

落地场景

论文揭示的 负权重漂移 与 激活稀疏性 直接指向 Transformer 类模型（LLM、ViT、GPT 等）的训练与推理优化。在推理阶段，高达 90% 的激活稀疏性可被用来精简计算图，适用于：

• LLM API 服务：云厂商的对话模型、代码补全模型在线上推理时，利用稀疏激活跳过无效计算，降低每次请求的 FLOPs。
• 边缘/移动端 ViT 应用：手机相册分类、实时物体检测等场景，稀疏激活使模型在 CPU/NPU 上运行更快、更省电。
• 实时推荐系统：基于 Transformer 的序列推荐模型，通过稀疏化降低延迟，支撑高并发用户请求。

商业价值

• 直接降本：稀疏激活转化为更低的 GPU/CPU 占用时间，云服务商可减少硬件需求量或提高单卡并发请求数，降低单位推理成本。实验表明，​ReLU^2 配合裁剪在 GPT-nano 上验证损失更低，意味着提升效率的同时不牺牲质量。
• 训练稳定性提升：早期识别并缓解负权重漂移，可避免训练初期掉入高稀疏、低精度的局部最优，减少训练实验次数，缩短模型迭代周期，间接节省研发开支。

与现有产品/工作流的集成路径

• 模型替换式集成：将现有模型中的 GELU/SiLU 换成 clipped ReLU^2 或 GELU^2，无需改动架构，直接通过 PyTorch/TensorFlow 自定义算子实现。
• 推理引擎适配：与稀疏推理框架（如 DeepSparse、TensorRT 的动态稀疏优化）结合，或通过 torch.sparse 组建稀疏执行图。框架需支持对稀疏张量的高效算子融合（如稀疏矩阵乘）。
• 训练流程微调：新增对权重漂移指标的监控（如负值占比、激活稀疏度），并在 warm-up 阶段启用 激活中心化（activation centering）或 clip 策略，防止病情恶化。

具体用例

1. 全球电商平台的商品搜索推荐：基于 BERT-like 的 query 理解模型，使用 GELU^2 重新训练，线上推理时稀疏度稳定在 70% 以上，单 GPU 吞吐提升 2 倍，支撑大促期间每秒万级查询，推荐延迟降低 30%。
2. 自动驾驶视觉感知：在 ViT 骨干上采用 clipped ReLU^2，结合稀疏推理引擎部署到 Orin 芯片，激活稀疏性将计算负载降低 40%，使模型能在更高分辨率下实时运行，同时保持 mAP 不降。

局限

• 理论证明严格依赖初始化时权重的对称分布假设和激活函数的正偏置特性，仅在训练初期成立；随着训练推进，权重分布演化，梯度符号可能改变，导致漂移现象减弱或逆转。论文未分析训练中后期动力学，也未讨论如何将理论推广到非初始化阶段，这限制了结论的长期有效性。
• 实验验证聚焦于中等规模模型（如 GPT-nano、ResNet-18、ViT）和标准视觉/语言任务，缺乏在数十亿参数级别大语言模型（如 LLaMA、GPT-3）上的检验。大规模模型中训练动态可能因梯度噪声、优化器状态和并行策略而呈现不同行为，因此负权重漂移和激活稀疏性的实际影响能否泛化仍需进一步探索。
• 提出的解决方案（如 clipped ReLU²、GELU²）虽缓解了激活尖峰并改善稀疏性-准确率权衡，但这些激活函数替换可能引入额外的超参数（如裁剪阈值），且未与其他稀疏化技术（如 Top-K 稀疏化、动态激活修剪）进行系统对比。计算效率提升部分仅给出初步吞吐量测量，未深入讨论在混合精度训练或硬件感知优化下的实际收益与局限性。