推测解码是一种LLM推理优化技术

什么是推测解码？

推测解码是一种推理优化方法，它使用一个快速、小型“草稿”模型快速提议多个未来token，然后由更大、更慢的“目标”模型并行验证。

这一过程通过每一步生成多个token，显著加快了大语言模型（LLM）的token生成速度，同时不牺牲输出文本的质量。

了解更多：https://t.co/qYAJJ8Snin