反驳人类视觉数据量远超LLM的观点

我每隔几个月就会看到这个观点（如下），被当作极其深刻的东西提出来，但实际上愚蠢得令人发指。它混淆了数据和信息，忽略了并非所有信息都同等重要，也忽略了保留率的重要性。

作为思想实验：如果这个观点成立，那么你的视网膜细胞数量如果增加10倍，你就会“基于10倍更多的token进行训练”，从而变得更聪明。如果它们的放电频率也增加10倍，同样如此。如果视网膜细胞多10倍且放电快10倍，你就会“基于100倍更多的token训练”！

显然这毫无意义——这些细胞传来的信号在空间和时间上高度相关，因此它们的原始信息量（压缩后剩余的内容）相比“原始比特”编码极低。人类视觉系统在空间压缩后实际上每秒处理40到50比特。如果在长时间跨度上加上时间压缩，则更少。

最新的LLM在20岁时能获取的信息量大约比人类多3到4个数量级（两者均经过压缩）。大约是O(10T)比特对比O(10-100B)比特。

而这仅仅是*原始信息*，但并非所有信息都平等，否则我们不会花费数百亿美元进行训练数据标注和生成。此外，这仅仅是*信息摄入*，而人类的保留率远低于LLM（低3-4个数量级）。可以写一篇短文来阐述这个观点错得多么离谱。