演示在HF Hub上端到端自动预训练LLM

你现在可以完全在 HF Hub 上预训练 LLM 💥

上周，@OpenAI 发起了一场比赛，看谁能在 10 分钟内预训练出最好的 LLM。所以周末我做了个小演示，利用 Hub 作为基础设施层实现端到端自动化：

- Jobs 来扩展计算
- Buckets 来存储所有实验
- Trackio 来记录所有指标

酷的是所有操作都在本地启动：无需 ssh 折腾集群，也不用跟同事争夺存储和 GPU ⚔️

剩下的就是提出新想法，但幸运的是 Codex 也能自动完成那部分 😁

现在能给我一份工作了吗 @reach_vb 🙏？