介绍VISReg，防止表示坍塌，高效自监督学习

转推 @HaiyuWu1: 正在研究世界模型或自监督学习？你一定要试试我们的新工作：VISReg！

它实现了什么？
💪 强防坍塌：嵌入坍塌时梯度高
⚡ 可扩展训练友好：对缩放因子线性复杂度
🧩 易于训练：类似LeJEPA，无启发式方法
🏆 最佳OOD性能：在6个OOD数据集上达到最佳准确率
📉 数据效率：用90%更少数据达到与DINOv2相当的OOD平均准确率
🧬 对低质量数据集鲁棒：对长尾和稀疏数据集鲁棒

我们的结果还表明SIGReg类方法可以扩展，填补了@ylecun精彩演讲中的缺失部分 https://t.co/P9TXmk3fFa。

非常感谢合著者@randall_balestr和我的经理@DrMorganLevine。也特别感谢@ylecun联系我们一起完成这个项目！🤝

#SelfSupervisedLearning #JEPA #WorldModel