讨论用最优传输替代DINOv2中防止表征坍缩的脆弱技巧

转推 @che_shr_cat: 1/ 像DINOv2这样的SSL模型是工程奇迹，但它们依赖EMA、stop-gradients和自定义中心化等脆弱技巧来避免表征坍缩。

如果我们能用纯粹、数学上可靠的 optimal transport 替代所有这些启发式方法呢？🧵 https://t.co/rk1Kr6RZBB