Qwen3.5模型fp8权重发布,支持SGLang和vLLM
bf16 太大?这是你一直期待的 fp8 版本!尝试在你的设备上享受我们的规模和稀疏性带来的好处。
🚀 Qwen3.5-397B-A17B-FP8 权重现已开源!适配推理框架花了一些时间,但我们做到了:✅ SGLang 支持已合并;🔄 vLLM PR 已提交 → https://t.co/rJkuitOBWs。查看模型卡片获取示例代码。vLLM 支持将在未来几天内落地!
🚀 Qwen3.5-397B-A17B-FP8 权重现已开源!适配推理框架花了一些时间,但我们做到了:✅ SGLang 支持已合并;🔄 vLLM PR 已提交 → https://t.co/rJkuitOBWs。查看模型卡片获取示例代码。vLLM 支持将在未来几天内落地!