VISReg解耦尺度与形状正则化，获LeCun高度认可
VISReg通过解耦尺度与形状正则化，高效防止表征坍塌，大幅提升自监督学习效率和泛化能力。
VISReg将自监督学习中的表征坍塌问题分解为尺度与形状两个独立目标，用切片Wasserstein距离替代传统协方差正则，在15个数据集上超越7种主流方法，且仅用十分之一数据即可追平DINOv2。
正文摘录
图灵奖得主 Yann LeCun 连续转发并高度认可的 VISReg，到底强在哪？ .465.jpg)  本文第一作者 Haiyu Wu 博士毕业于美国顶级私立学府圣母大学，现在就职于 Altos Labs —— 一家拥有 30 亿美元启动资金，专注研究细胞重激活的初创公司。他的研究方向为，世界模型和多模态模型的稳定性以及泛化能力。其余两位作者分别是布朗大学教授，LeJEPA/SIGReg 的第一作者 Randall Balestriero 和前耶鲁大学教授，现 Altos Labs 的副总裁，Morgan Levine。 近日，自监督学习新工作 VISReg （Variance-Invariance-Sketching Regularization）获图灵奖得主 Yann LeCun 连续转发并给予高度认可 —— 他在转发时评价道「VICReg begat SIGReg which begat VISReg」（VICReg 孕育了 SIGReg，SIGReg 又孕育了 VISReg），一句话点明了这条正则化路线的技术传承。