Yann LeCun 分享 LeJEPA 训练细节并预告 Zoom 会议
已将额外的训练细节添加到我们的 repo：
https://github.com/rbalestr-lab/LeJEPA
... 如果您有问题或建议，请发送评论（或直接在 repo 中提出 issue），期待您的反馈！下周我还会组织一场 2 小时的 Zoom "DeepDive" 会议，敬请关注！
https://github.com/rbalestr-lab/LeJEPA
... 如果您有问题或建议，请发送评论（或直接在 repo 中提出 issue），期待您的反馈！下周我还会组织一场 2 小时的 Zoom "DeepDive" 会议，敬请关注！
LeJEPA：一种新颖的预训练范式，摆脱了我们依赖的许多启发式方法（stop-grad、teacher 等）
- 60+ 架构，最高 2B 参数
- 10+ 数据集
- 领域内训练（>DINOv3）
- corr(训练损失, 测试性能)=95%
论文：https://t.co/NpfB9G1pOP
代码：https://t.co/BsK5wmNEHc