将AI任务分为三类,论证多数任务有根本极限,超级智能世界观并不成立

RT @sayashk:我们生活的世界,是 AI 在每一项任务上都能远超人类的超级世界?还是一个不同任务各有其固有上限、AI 在网络安全和数学上的超人表现并不会迁移到许多重大任务上的世界?

这是区分「常规技术」世界观与「超级智能」世界观的一个关键分歧点,它与 AI 进展的速度无关——而是关乎我们对世界抱有的不同假设。

下面是一个直觉推演,说明我为什么认为是后者:不同任务有着不同的根本极限。

*类别一:有些任务像把楼盖得更高*:你做得多好都没有天花板。更多算力和更好的算法可以带来远超人类的性能。整部计算史,就是一部打造工具、让我们在计算类任务上「超越人类」的历史。

例如,编译器是超越人类的汇编代码写手,模糊测试工具是超越人类的漏洞探测器。AI 建立在这一长串进步的脉络之上:解数学题和发现代码中的漏洞就是最近的两个例子。

*类别二:有些任务像把球做得更圆*:可改进的空间就那么大,最好的 AI 系统也无法远远超越人类。以说服为例。有些人相信 AI 能说服任何人任何事,甚至能说动军事指挥官发射核武器。事实上,「超级说服」正是许多灾难性风险情景得以展开的路径之一。

但「AI 是常规技术」这一论点的核心在于:许多重大任务受外部因素制约,因此这种远超人类的性能并不可能实现。面对使用简单计算工具的人类时尤其如此。说服,或者预测社会事件(如选举)的结果,都属于这一类。

另一些任务,比如写作,无法在单一尺度上排序;不同的人会觉得不同的写作风格有说服力。AI 写作也很快会让人腻味:哪怕用户第一眼被 AI 的文字打动,读完几千字同类型的文风之后,也会觉得乏味甚至恼人。

所有这些都与类别一的任务不同,比如下棋——即便人类专家,每一步也很难比听从一个 AI 系统做得更好。

*类别三:有些任务需要在真实世界做实验*,瓶颈不在计算任务,而在数据收集。一个例子是 Moderna 的新冠疫苗:设计疫苗只用了两天,但测试和获批花了将近一年,而且那还是在创纪录的疫苗研发速度之下!

这就是为什么「超级智能」无法在数据中心里治愈癌症:AI 许多最受期待的现实影响(比如研发疾病的疗法),其瓶颈在真实世界,需要做那些我们不会(也不该)交给 AI 的实验。

担忧 AI 风险的人常常假设,我们生活在一个几乎所有事情都属于类别一的世界,而且我们可能很快就会看到在所有任务上远超人类的 AI。我同意,生活在那样一个世界里会很可怕。

@random_walker 和我之所以对我们保持控制的能力更为乐观,原因之一就是:我们不认为我们生活在类别一的世界里。