Qwen3 Coder Next 的 KV cache 很小,建议不要量化
Qwen3 Coder Next 的 KV cache 大小非常小:
在 262,144 tokens 时仅为 6.0 GB
不要对这个 KV cache 进行量化。
作为对比,相同 token 数下,Qwen3 0.6B 的 KV cache 占用 28 GB 内存。
在 262,144 tokens 时仅为 6.0 GB
不要对这个 KV cache 进行量化。
作为对比,相同 token 数下,Qwen3 0.6B 的 KV cache 占用 28 GB 内存。