Kimi K3模型可在本地运行,1-bit压缩后保留78.9%准确率
转推自UnslothAI:Kimi K3现在可以在本地运行了!✨
1-bit模型在从1.56TB缩小到594GB(-62%大小)后保留了约78.9%的准确率。
可在Mac Studio + 128GB RAM设备上运行。
Kimi K3是迄今为止最强的开源模型。
指南:https://t.co/1mVwOMLpDW
GGUF:https://t.co/bt1c1ADdCZ https://t.co/rdvVlDIitX
1-bit模型在从1.56TB缩小到594GB(-62%大小)后保留了约78.9%的准确率。
可在Mac Studio + 128GB RAM设备上运行。
Kimi K3是迄今为止最强的开源模型。
指南:https://t.co/1mVwOMLpDW
GGUF:https://t.co/bt1c1ADdCZ https://t.co/rdvVlDIitX