动态

反驳ARC-AGI基准人类100%可解的说法

François Chollet
客观来说,这是一个非常低的门槛。

显然,声称100%的人类能解决100%的游戏是荒谬的——这不仅对ARC-AGI-1或2不成立,对领域内任何AI基准都不成立。即使是MNIST,也无法被所有人类100%完成(假设没有标注错误)。更不用说ImageNet、MMLU或GPQA(它们相当困难)。

同样,声称*中等*人类能100%完成这些任务也是荒谬的,对其他基准同样不成立。事实上,在所有流行的AI基准中,可能只有ARC-AGI-1和MNIST能让中等人类获得不错的分数。
动态François Chollet2026-03-26原文

相关内容