视觉预训练使语言模型直接学习原始文档，保留视觉信息。

转引自 @ymzhang319: 感谢 @_akhaliq 分享我们的工作！🥳

我们探索了一种新的预训练范式——视觉预训练。👀📖

它使语言模型能够直接从原始文档中学习📕，保留了在文本提取过程中会丢失的丰富视觉信息。