提出Attention Residuals改进残差连接，提升模型性能

引入注意力残差：重新思考深度聚合。

残差连接长期以来依赖于固定的统一累加。受时间与深度二重性的启发，我们提出注意力残差，用学习到的、输入依赖的前层注意力替代标准深度递归。

使网络能够选择性检索过去表示，自然缓解稀释和隐藏状态增长。
引入Block AttnRes，将层划分为压缩块，使跨层注意力在大规模上实用。
作为高效的即插即用替代方案，在推理延迟开销可忽略（<2%）的情况下，展现出1.25倍的计算优势。
在Kimi Linear架构（480亿参数，30亿激活参数）上验证，带来持续的下游性能提升。

全文报告：

https://github.com/MoonshotAI/Attention-Residuals/blob/master/Attention_Residuals.pdf