哈工大（深圳）与鹏城实验室 PolaFormer++ 被 TPAMI 接收
线性注意力快但表达力弱，PolaFormer++ 用极性分解加通道级尖峰映射补回精度，在六类视觉任务上验证。
哈工大（深圳）与鹏城实验室合作的 PolaFormer++ 被 IEEE TPAMI 接收。它针对线性注意力（用核函数替换 Softmax、把计算复杂度从序列长度的平方降为线性的方案）的两个短板——负值被置零而丢失、注意力分布过于均匀——把 query 和 key 按正负极性分成两路计算，并为每个通道单独学习一个尖锐度温度参数。
正文摘录
.jpg)  作者信息：本文一作孟维康是哈尔滨工业大学（深圳）与鹏城实验室联合培养的博士生，本科毕业于哈尔滨工业大学，主要研究方向是大规模基础模型的高效训练和推理算法。通讯作者张正教授是哈尔滨工业大学（深圳）长聘教授、博士生导师，长期从事高效能多模态机器学习研究。 继 ICLR 2025 的 PolaFormer 之后，哈工大（深圳）与鹏城实验室合作的扩展版本 PolaFormer++ 近日被 IEEE TPAMI 正式接收。新版本在理论框架、特征映射设计和实验覆盖面上全面升级：首次给出判定特征映射是否具备「降熵尖锐性」的理论判据，并提出极性感知的通道级尖锐（PaCS）特征映射，在六大类视觉核心任务上全面验证了线性注意力的潜力。