Set Block Decoding实现并行解码加速3-5倍 Itai Gat了解一下Set Block Decoding,它结合了下一个词预测和掩码(或离散扩散)模型,无需任何架构变化即可实现并行解码(加速3-5倍),并保持精确的KV缓存。性能与NTP相当。 AKSet Block Decoding是一个语言模型推理加速器 动态Itai Gat2025-09-08原文 打开互动版