Yann LeCun反对用“通用”描述人类智能,认为人类高度专精
我认为分歧主要在于词汇。我反对用“通用”来指代“人类水平”,因为人类是极其专精的。你可能会不同意人类心智是专精的,但事实确实如此。这不仅仅是理论能力的问性问题,也是实际效率的问题。显然,一个受过适当训练的人脑,配上无限供应的纸和笔,是图灵完备的。但对于绝大多数计算问题来说,它的效率极其低下,在有限资源下(比如下棋)表现非常次优。让我举个例子:理论上,一个两层神经网络可以任意逼近任何函数。但实际上,几乎所有有趣的函数都需要隐层指数级多的单元。所以我们用多层网络(这实际上就是深度学习存在的原因)。另一个论据:视神经有100万根神经纤维。假设信号是二进制的,那么视觉任务就是从1百万比特到1比特的布尔函数。在所有可能的这类函数中,人脑能实现的比例是多少?答案是:微乎其微。1百万比特的布尔函数数量是2^(2^1E6),这是难以想象的巨大数字,大约2^(1E301030)或10^(3x1E301029)。假设人脑有1E11个神经元,约1E14个突触,每个用32位表示,那么整个连接组的比特数最多为3.2E15。这意味着整个人脑能表示(计算)的布尔函数总数最多为2^(3.2E15)。与2^(1E301030)相比,这是个极其微小的数字。我们不仅不是通用的,而且是*荒谬地*专精的。可能函数的空间是巨大的。我们没有意识到这一点,因为大多数函数对我们来说都难以理解地复杂,看起来完全随机。我喜欢阿尔伯特·爱因斯坦的名言:“世界上最不可理解的事情是世界是可以理解的。”在所有世界可能组织的随机方式中,我们居然能找到理解其中一小部分的方法,这相当不可思议。我们不理解的部分,我们称之为熵。宇宙中大部分信息内容都是熵:那些我们微弱的头脑无法理解、选择忽视的东西。