复旦创智团队：滑窗与线性注意力混合，可兼顾长度外推与长文训练
这篇论文拆解了长上下文混合架构里滑窗注意力和线性注意力的取舍：一个擅长长度外推、一个擅长长文续训，并给出两头补短的改法。
复旦大学与上海创智学院团队系统比较了全注意力与滑窗注意力（SWA，只关注固定窗口内近邻 token 的注意力）、门控线性注意力（如 GLA/GDN，用递归状态代替全量注意力矩阵）的混合架构。结论是两类高效注意力各有短板：滑窗混合擅长长度外推但长文续训吃亏，线性混合相反。论文给出对应改进，最长实现 16 倍免训练外推。
正文摘录
.222.jpg)  本文第一作者柳潇然，复旦大学、上海创智学院 2022 级硕博连读生，导师邱锡鹏、何子薇。研究方向为长上下文大语言模型，曾在 ICLR、ICML、AAAI、EMNLP 等国际顶级人工智能会议发表论文十余篇。 背景介绍 长上下文已经成为大语言模型重要的基础能力，但长上下文也给模型架构带来了一个现实问题：全注意力能够直接建模任意位置之间的关系，却带来随序列长度显著增长的计算和显存开销；滑窗注意力和线性注意力更加高效，但效果上都存在明显的不足。因此混合架构逐渐成为当前大语言模型设计的主流。 面对滑窗注意力和线性注意力两类固定计算与存储复杂度的高效方案，混合架构应该采取全注意力与哪种的混合呢？复旦创智邱锡鹏团队的最新工作 混合架构的长文力学 Mechanics of Long-Context Hybrid Models 给出了一个有趣的答案： 我全都要 。 论文从混合位置的角度，系统比较了基于 RoPE/NoPE 全注意力、滑窗注意力（SWA），以及 GLA/GDN 等门控线性注意力的混合架构在长上下文任务中的表现，并进一步分析了不同注意力的协同机制。