VISReg解决JEPA表征坍塌问题，LeCun转发认可
VISReg通过解耦尺度与形状正则，高效防止表征坍塌，仅用少量数据即可达到顶尖性能。
自监督学习面临表征坍塌——模型将所有输入映射到少数向量。LeCun团队提出的VISReg通过将正则项解耦为尺度与形状两个独立目标，在坍塌时仍保持强梯度，仅用1/10数据追平DINOv2，在15个数据集上超越7种主流方法。
正文摘录
 新智元报道  JEPA 世界模型的底层是 Yann LeCun 自 2017 年起持续倡导的自监督学习（Self-Supervised Learning, SSL）。 SSL 无需人工标注即可从海量数据中学习通用表征，但普遍面临一个核心难题—— 表征坍塌 （representation collapse）：模型倾向于把不同输入映射到相同或极少数几个向量上，看似完成了训练，实则未学到有判别力的表征。 为抑制坍塌，主流方法大多依赖一系列 启发式技巧 （EMA、教师-学生网络、停止梯度、冻结层等）。这些技巧使训练变得脆弱、难以调参，也削弱了方法的可解释性与可扩展性。 另一条路线是通过正则项直接约束表征分布。 LeCun 团队提出的 VICReg 将学习目标拆为方差、不变性、协方差三项，用协方差约束各维度之间的相关性；但协方差仅刻画 二阶统计量 ，无法区分「均值、方差相同，而分布形状迥异」的两种表征。 其后提出的 SIGReg 基于 Cramér‑Wold 定理，用 sketching 技术将整个嵌入分布对齐到标准高斯，从而约束完整的分布形状。 然而 SIGReg 仍存在两个关键缺陷： - 坍塌时梯度消失 ：当表征开始坍塌时，SIGReg 的梯度随之衰减——坍塌越严重、修正信号越弱，模型难以自行恢复； - 尺度与形状耦合 ：未将「幅度大小（尺度）」与「分布形态（形状）」两个独立属性分离，二者在优化中相互干扰，导致在长尾、低质量、低秩数据上适配性较差。