动态

LeJEPA:无启发式方法的预训练新范式

LeJEPA:无启发式方法的预训练新范式
Randall Balestriero
LeJEPA:一种新颖的预训练范式,摆脱了我们依赖的(许多)启发式方法(停止梯度、教师等)
- 60+架构,高达20亿参数
- 10+数据集
- 领域内训练(优于DINOv3)
- corr(训练损失,测试性能)=95%
论文:
https://arxiv.org/pdf/2511.08544
代码:
https://github.com/rbalestr-lab/lejepa
动态Randall Balestriero2025-11-12原文

相关内容