测试Qwen3.5-397B模型的量化版本，性能良好且内存占用大幅降低

我测试了@UnslothAI对Qwen3.5-397B-A17B的UD Q4和Q3 GGUF量化版本，两者都表现很好。在我的运行中，我没有观察到原始权重和Q3之间有意义的差异（准确率差异小于1个百分点，相对误差仅增加约3.5%）。你可以减少约500GB的内存占用，同时几乎看不到实际退化（至少在我尝试的任务上是这样）。我应该一定检查一下Q2。