开源 ViT 模型 Web-SSL，从 ViT-L 到 ViT-7B
我们正在开源 Web-SSL 中的所有模型，从 ViT-L 到 ViT-7B！训练和玩这些大规模 ViT 非常有趣。
模型：https://huggingface.co/collections/facebook/web-ssl-68094132c15fbd7808d1e9bb
…
Github：https://github.com/facebookresearch/webssl
…
非常感谢 @DavidJFan 将这些模型整合在一起！
模型：https://huggingface.co/collections/facebook/web-ssl-68094132c15fbd7808d1e9bb
…
Github：https://github.com/facebookresearch/webssl
…
非常感谢 @DavidJFan 将这些模型整合在一起！
视觉模型一直比语言模型小；如果我们扩大它们的规模会怎样？
介绍 Web-SSL：一系列十亿级规模的自监督视觉模型（最多 7B 参数），在数十亿张图像上训练，无需语言监督，使用 VQA 评估学习到的表示。