回顾BERT时代冻结视觉编码器+冻结BERT单线性层实验,效果良好

RT @ThomasScialom: @ylecun @dominik_schnaus @alex_conneau @GuillaumeLample 在 BERT 时代我就跑过这个完全相同的实验:冻结的视觉编码器 + 冻结的 BERT,中间只加一个线性层。效果出奇地好:https://t.co/gYomiS5LVs

确实如此 Yann:FAIR 的零样本跨语言对齐正是我直接的灵感来源与直觉!