动态

推出SubQ模型:亚二次稀疏注意力架构,1200万token上下文

推出SubQ模型:亚二次稀疏注意力架构,1200万token上下文
Matt Wolfe
推出 SubQ——LLM 智能的重大突破。

这是首个基于完全亚二次稀疏注意力架构(SSA)构建的模型,

也是首个拥有 1200 万 token 上下文窗口的前沿模型,其性能:

- 在 1MM token 时比 FlashAttention 快 52 倍
- https://t.co/eZL0VOqBB4
动态Matt Wolfe2026-05-05原文

相关内容