dflash

轻量级块扩散模型，专为投机性解码设计，实现高效并行草稿生成以加速LLM推理。支持Gemma、Qwen、Llama等多种主流模型，可与vLLM、SGLang等推理引擎无缝集成，并提供了MLX（Apple Silicon）支持。开源训练配方即将发布，便于用户自定义加速。研究向，非生产级建议。

打开互动版