hf-mount 将远程存储挂载为本地文件系统
hf-mount
将 @huggingface 的任何存储桶、模型或数据集挂载为本地文件系统
这是一个游戏规则改变者,因为它允许您挂载比本地机器磁盘大 100 倍的远程存储。
这也非常适合 Agentic 存储!!
存储桶可读写,模型和数据集只读。
以下是使用 FineWeb-edu(5TB 的 Web 切片)的示例:
1️⃣> hf-mount start repo datasets/HuggingFaceFW/fineweb-edu /tmp/fineweb
挂载需要几秒钟,然后:
2️⃣> du -h -d1 /tmp/fineweb
4.1T ./data
1.2T ./sample
5.3T .
🤯😮
有两种后端可用:
NFS(推荐)和 FUSE
冲就完了 💪
将 @huggingface 的任何存储桶、模型或数据集挂载为本地文件系统
这是一个游戏规则改变者,因为它允许您挂载比本地机器磁盘大 100 倍的远程存储。
这也非常适合 Agentic 存储!!
存储桶可读写,模型和数据集只读。
以下是使用 FineWeb-edu(5TB 的 Web 切片)的示例:
1️⃣> hf-mount start repo datasets/HuggingFaceFW/fineweb-edu /tmp/fineweb
挂载需要几秒钟,然后:
2️⃣> du -h -d1 /tmp/fineweb
4.1T ./data
1.2T ./sample
5.3T .
🤯😮
有两种后端可用:
NFS(推荐)和 FUSE
冲就完了 💪