腾讯混元压缩Hy4至200GiB,精度几乎不变。
RT @腾讯混元:我们将Hy4-preview从1.5TB压缩到约200GiB的GGUF格式,效果依然出色!认识一下MIX-STQ1_0。诀窍不只是降低位数,而是决定在哪里降低:校准数据为每一层选择位宽,有些低至1.31位STQ1_0,有些高达2.06位IQ2_XXS。同样预算,更低误差。精度相比BF16几乎不变。📊 MCP Atlas 83.7→83.2 📊 SWE-Bench multi 82.9→81.3 📊 MRCR 81.3→81.1 📊 IFBench 73.5→72.5。详见HF:AngelSlim/Hy4-preview-GGUF。权重和低位GGUF👇 https://t.co/9uM9NT9Wem #LLM #量化 #llamacpp #Hy