NEPA: 新的自回归视觉预训练目标
RT @NielsRogge: NEPA 现已添加到这里：
查看底部的评估以与其他模型比较 👀 https://t.co/TwMmtXEiiT
查看底部的评估以与其他模型比较 👀 https://t.co/TwMmtXEiiT
NEPA：下一代嵌入预测自回归
一个用于视觉自监督学习和生成预训练的简单目标。我们不重建像素或预测离散 token，而是训练一个自回归模型，根据之前的所有嵌入预测下一个嵌入。
关键思想：https://t.co/WKwyvYxksx