动态

Gemma 4 31B 推测解码(EAGLE-3)加速推理

Red Hat AI
Gemma 4 31B 的推测解码(EAGLE-3)

一个 2B 草稿模型预先预测 token;31B 验证器进行验证。输出相同,推理更快。

早期发布。vLLM 主分支支持正在进行中(PR #39450)。推理支持即将推出。
动态Red Hat AI2026-04-10原文

相关内容