九章云极发布 Alaya-DFlash2 草稿模型 助 GLM-5.3 长文本解码提速 3.41 倍
九章云极用并行起草加路径选择的草稿模型给 GLM-5.3 做推测解码加速，长上下文猜得准，单并发解码快 3.41 倍。
长文本生成慢在输出阶段：主模型每生成一个 token 都要重新计算整段上下文。推测解码让一个小草稿模型先猜几步、主模型一次验证。九章云极为 GLM-5.3 训练的 Alaya-DFlash2 草案模型，在 32k 长上下文下保持较高接受长度，单并发解码速度达原生自回归的 3.41 倍。
正文摘录
.png) 长文本的等待，发生在输出阶段。 32k 的文档读进去了，模型开始回答。第一个字很快，后面每个字都要等——主模型一次只往前一步，每生成一个 token，都要把整段上下文重新算一遍。上下文越长，这一步越贵。 推测解码换了个做法：让一个更小的草稿模型先往后猜几步，主模型一次性验证。猜中的部分直接接收，一轮就能推进好几个 token。猜得准不准，用一个指标衡量——接受长度，即每次验证平均能通过多少个候选。 Alaya-DFlash2 是九章云极为 GLM-5.3 打造的一套推测解码加速方案：一个能并行起草的草稿模型，加一套路径选择机制，让它在长上下文里依然猜得准。评测显示，它在长上下文下保持了较高的草稿接受长度，并在从单并发到 64 并发的全部已测档位中，同时取得高于原生自回归解码的单用户解码速度与总输出吞吐。 一句话：交互场景可以追求更流畅的生成，多请求场景能用同样的卡承接更多输出。 从单人交互到并发服务，速度与吞吐双提升  图 1：横轴为单用户解码速度，纵轴为总输出吞吐，点旁数字表示并发数。在相同并发档位下，Alaya-DFlash2 的测量点均位于原生自回归 AR 的右上方。