Cohere 提出硬件感知的动态推测解码，优化 LLM 推理效率
Cohere 提出硬件感知的动态推测解码，让草稿 token 数量随 GPU 占用动态调整，避免高并发下推理减速，对大规模 RL 训练也有提升。
推测解码（SD）用小模型草拟多个 token，再由大模型一次性验证，加速 LLM 推理。但固定草稿长度在动态批处理和高并发下可能降低吞吐。Cohere 的动态推测解码（DSD）根据 GPU 计算与内存带宽的利用率，自动调整草稿 token 数量，在内存带宽瓶颈时增多、计算瓶颈时减少，甚至对混合专家模型实现非单调 K 值控制。
正文摘录
硬件感知的动态推测解码 (Dynamic Speculative Decoding, DSD) - 来源: Cohere 推测解码 (Speculative Decoding, SD) 是一种流行的技术，能在不损失质量的前提下加速大型语言模型 (LLM) 推理。LLM 推理一次生成一个 token。而 SD 使用一个较小的 草稿模型 (draft model) 来提议多个 token，然后由大的 目标模型 (target model) 在单个时间步内验证这些 token。由于每步可以接受多个 token，这便加速了生成。 SD 通过利用 GPU 的 计算能力 和 内存带宽 之间的权衡来实现加速。将多个请求组成批处理可以提高 GPU 利用率，但运行模式取决于批大小 (Batch Size, BS): - 在小 BS 下，推理受内存带宽限制：将 LLM 权重从 HBM 加载到 SRAM 的成本占主导。 - 在大 BS 下，推理变为计算受限：LLM 权重与大量请求 token 之间的矩阵乘法占主导。 SD 的时间开销主要由两部分组成： SD 的时间 = 草稿 token 生成时间 (小草稿模型) + 草稿 token 验证时间 (大目标模型) 草稿模型的运行成本要低得多。如果草稿生成了 K 个 token，目标模型必须处理 BS × (K+1) 个 token，这使得验证成为瓶颈，因为对于给定的 BS，它需要多进行 K+1 倍的计算。在现代 GPU 上，计算单元通常比内存带宽快两个数量级左右，所以在内存带宽受限的小 BS 推理阶段，计算单元大部分时间处于闲置状态。SD 利用这一差距，在验证时将 K+1 倍的 token 推送给目标模型，消耗掉原本会被浪费的计算资源。