Karpathy分享自动调优nanochat模型结果

Andrej Karpathy

三天前，我让autoresearch调优nanochat约2天（depth=12模型）。它找到了约20个改善验证损失的更改。我昨天测试了这些更改，它们都是可累加的，并且迁移到了更大的（depth=24）模型。堆叠所有这些更改，https://t.co/j34dSt4oht

打开互动版