感谢并推荐Set Block Decoding技术线程
感谢 @_akhaliq！查看 @helibenhamu 的线程了解更多详情。
很高兴分享我们的工作Set Block Decoding！一种结合下一token预测与掩码（或离散扩散）模型的新范式，允许无需任何架构更改且精确KV缓存的并行解码。可以说是加速LLM最简单的方法之一！https://t.co/rWTXMyZKde
很高兴分享我们的工作Set Block Decoding！一种结合下一token预测与掩码（或离散扩散）模型的新范式，允许无需任何架构更改且精确KV缓存的并行解码。可以说是加速LLM最简单的方法之一！https://t.co/rWTXMyZKde