小红书 Dots 团队发布 DoSA，百万 token 上下文首 token 延迟降低近半
用数学上下界提前排除不可能入选的 token，DoSA 在保证选择结果不变的前提下把长上下文预填充的索引器开销砍掉大半。
稀疏注意力减少了主注意力的计算量，但负责挑选 token 的索引器反过来成了瓶颈。小红书 Dots 团队自研的 DoSA（一种保留原始 Top-K 选择结果、用分数上下界提前剔除候选的索引器加速方法）在测试中过滤掉约 97% 的候选。在约 1M token 上下文下，三个模型的首 token 延迟比各自的 SGLang 基线降低约 37%、46% 和 48%。
正文摘录
.jpg) 稀疏注意力（sparse attention）减少了主注意力的计算量，但负责筛选 token 的索引器（Indexer）仍可能成为长上下文推理的瓶颈。小红书 Dots 团队自研的 DoSA 利用分数上下界（upper/lower bound），在保持原始 Top-K 选择结果的前提下加速索引器，并在测试中提前过滤了约 97% 的候选。在约 1M token 的上下文长度下，Dots3-Note-preview、GLM-5.2 和 DeepSeek-V3.2 的首 token 延迟（TTFT，time to first token）较各自的 SGLang 基线分别降低约 37%、46% 和 48%。  - 论文标题：DoSA: Dots Sparse Attention - 作者单位：Dots Studio - 项目地址：https://github.com/llm-sys/dosa-sglang 01 注意力稀疏了，为什么还是慢？ 大模型从发出请求到收到第一个 token 的时间称为首 token 延迟（TTFT），也就是用户感受到的「首字等待时间」。