比较VICReg和SIGReg在CIFAR-10上的线性探测准确率
𝟯/ Image-JEPA
看看VICReg和SIGReg在CIFAR-10上的线性探测准确率。
发现:
• 学习投影器有助于正则化编码器输出
• 投影器:SIGReg使用瓶颈设计,VICReg使用更大维度
• SIGReg调参更简单(1个超参数)
看看VICReg和SIGReg在CIFAR-10上的线性探测准确率。
发现:
• 学习投影器有助于正则化编码器输出
• 投影器:SIGReg使用瓶颈设计,VICReg使用更大维度
• SIGReg调参更简单(1个超参数)