DatologyAI 推出确定性数据加载器 Zephon,支持边处理边加载

RT @MaxiBoether:在 @datologyai,我们运行着成千上万次数据实验。有两件事一直让我们头疼:

- 同样的运行在 16 卡和 8 卡上 → 评测结果不同
- 每次改动流水线 → 都要重新物化整个数据集

隆重介绍 Zephon,这是我们构建的数据加载器,可以确定性地即时处理数据。🧵 https://t.co/VxpjbXTcZh