对比S3和HF Buckets，提出Xet去重优势
为什么ML团队还在付钱给AWS？
S3: ~$23/TB/月, ~1 GB/s
HF Buckets: $8-12/TB/月, ~1.25 GB/s
+ Xet 块级去重是
S3: ~$23/TB/月, ~1 GB/s
HF Buckets: $8-12/TB/月, ~1.25 GB/s
+ Xet 块级去重是
刚刚在训练运行中从S3切换到HF Buckets存储数据集和检查点。同样的工作流，只是用`hf sync`代替`s5cmd sync`。
对410GB tokenized数据的快速基准测试：https://t.co/jJzPqBTX8x