推出SubQ模型:亚二次稀疏注意力架构,1200万token上下文
推出 SubQ——LLM 智能的重大突破。
这是首个基于完全亚二次稀疏注意力架构(SSA)构建的模型,
也是首个拥有 1200 万 token 上下文窗口的前沿模型,其性能:
- 在 1MM token 时比 FlashAttention 快 52 倍
- https://t.co/eZL0VOqBB4
这是首个基于完全亚二次稀疏注意力架构(SSA)构建的模型,
也是首个拥有 1200 万 token 上下文窗口的前沿模型,其性能:
- 在 1MM token 时比 FlashAttention 快 52 倍
- https://t.co/eZL0VOqBB4