动态

Qwen3 Coder Next 的 KV cache 很小,建议不要量化

Benjamin Marie
Qwen3 Coder Next 的 KV cache 大小非常小:

在 262,144 tokens 时仅为 6.0 GB

不要对这个 KV cache 进行量化。

作为对比,相同 token 数下,Qwen3 0.6B 的 KV cache 占用 28 GB 内存。
动态Benjamin Marie2026-02-04原文

相关内容