动态

huggingfacehub v1.32 本地缓存跨仓库去重,相同权重文件只存一份

huggingfacehub v1.32 本地缓存跨仓库去重,相同权重文件只存一份
Victor M
Hugging Face 的缓存远不止是一个装满已下载模型的文件夹 🤫

在 huggingface_hub v1.32 中,不同仓库里相同的、由 Xet 支撑的文件只会被存储一次。所以如果 5 个仓库共享同一个 20 GB 的权重文件:

-> 之前:磁盘上约 100 GB
-> 之后:约 20 GB

而且一旦这个 blob 已经在本地,另一个仓库就能以零负载下载的方式复用它 💃

Xet 已经让远程存储实现了内容寻址。现在,这种身份标识也延伸到了你的本地缓存里。
动态Victor M2026-09-18原文

相关内容