Yann LeCun对比LLM训练数据与儿童视觉经验

Yann LeCun解释说，大型语言模型训练使用了约30万亿个词，几乎涵盖了所有公开的互联网文本。他说人类需要超过50万年才能读完那么多内容。但一个4岁的孩子在生命最初几年看到的视觉数据量与此相当。这表明真实世界的体验比阅读文本更加丰富和复杂。尽管基于互联网的训练规模巨大，但仍然无法与孩子通过生活所学的信息相比。