介绍VISReg,一种新的正则化SSL方法,达到SOTA泛化性能
转发 @HaiyuWu1: 当今领先的SSL方法严重依赖训练启发式——EMA、师生训练、层冻结等——以保持稳定。基于正则化的方法更简单,但长期无法匹敌领先SSL方法的泛化性能。VISReg打破了这一权衡。我们介绍了VISReg,第一种基于正则化的SSL方法,达到了最先进的域外泛化,超越了MoCov3、DINO、data2vec、iBOT、I-JEPA、MAE和DINOv2。arXiv: https://t.co/rq687ag2XV Github: https://t.co/XeD8TZroFg