哈工大（深圳）提出 STILL：按内容而非位置分配注意力的层内混合架构，获 NeurIPS 2026 接收
让 token 按内容重要性而非距离决定走 Softmax 还是线性注意力，从而以极低训练成本把现成 LLM 变成能处理长上下文的线性模型。
现有把预训练 LLM 线性化的方法，都按滑动窗口划分：窗口内的 token 交给 Softmax 注意力，窗口外的全部交给线性注意力；但这等于按位置一刀切，关键证据一旦落在远处，就只剩有损压缩。哈工大（深圳）团队的 STILL 改为按内容重要性路由：先用自显著性分数（在局部窗口内预测某个 token 未来还会不会被关注）挑出重要 token，交给 Softmax 分支保真处理，其余交给线性注意力，并用保范数特征映射维持预训练模型的表征强度。仅用 0.04B token 完成线性化，16K 上下文下省 80% 显存、预填充提速 83%。
正文摘录
.jpg)  本文一作孟维康是哈尔滨工业大学（深圳）博士研究生，主要研究方向是高效基础模型架构，线性 / 混合注意力机制。通讯作者张正教授是哈尔滨工业大学（深圳）长聘教授、博士生导师，长期从事高效能多模态机器学习研究。 Softmax 注意力的平方复杂度，一直是大模型迈向长上下文的最大拦路虎。线性注意力虽然快，但从头训练一个大型线性模型动辄需要成千上万 GPU 时。于是，「把现成的预训练 LLM 直接线性化」成为最具性价比的路线 —— 但现有方法要么按位置粗暴划窗、把远处关键证据挡在高质量注意力之外，要么在特征映射中破坏预训练模型的范数结构，长文能力断崖式下跌。 STILL 近日被 NeurIPS 2026 正式接收。STILL 的核心贡献可以概括为两点： - 首个真正的同层混合注意力框架 。此前的层内方案（LoLCATs、Liger 等）只是把固定滑窗内的 token 交给 Softmax、窗外的交给线性注意力 —— 在作者看来，这种按位置一刀切的做法只是两种算子的「拼接」，算不上真正的混合。