开源动态 MTP 系统 LightSpec 发布，无需训练即可兼容多种草稿模型
LightSpec 首次将动态 MTP 从特定模型技巧变为通用推理基础能力，无需额外训练即可动态调度，大幅降低落地门槛。
上海交大与 LightLLM 团队开源首个通用动态 MTP 系统 LightSpec，采用两阶段无需训练的运行时规划器，通过在线统计动态决定验证和草稿预算，兼容 DSpark 和 Eagle3 等不同草稿模型，并实现 CPU 调度与 GPU 执行完全重叠的流水线优化。
正文摘录
.jpg)  本文由上海交通大学、北京航空航天大学与 LightLLM 团队联合完成。作者陈俊一是上海交通大学二年级硕士研究生，研究方向聚焦于大模型推理加速算法与推理框架优化，长期关注推测解码、动态 MTP 以及高性能推理系统等问题。其余三位作者白世豪，汪再军和龚睿昊均来自 LightLLM 团队，该团队长期致力于大语言模型推理引擎、分布式并行、推测解码与系统级性能优化，并持续推动前沿推理算法在真实服务场景中的工程化落地。 随着 DeepSeek 发布 DSpark，动态 MTP（多 Token 预测，Multi-Token Prediction）成为了对抗高并发、提升 GPU 利用率的绝对焦点。然而，DSpark 高度绑定特定模型且需要额外训练。 今天，LightSpec 团队正式开源了业内首个通用动态 MTP 推理框架方案 —— 它采用创新的两阶段 Training-free 设计，完全无需训练，不仅能直接兼容 DSpark 策略，还完美支持 Eagle3 等不同草稿模型。