动态

Set Block Decoding实现并行解码加速3-5倍

Itai Gat
了解一下Set Block Decoding,它结合了下一个词预测和掩码(或离散扩散)模型,无需任何架构变化即可实现并行解码(加速3-5倍),并保持精确的KV缓存。性能与NTP相当。
AK
Set Block Decoding是一个语言模型推理加速器
动态Itai Gat2025-09-08原文

相关内容