AI自我改进将是渐进过程，而非快速起飞
我们还没有实现AI的自我改进，而当它实现时，将是一个改变游戏规则的事情。与GPT-4时代相比，我们现在有了更多的智慧，很明显这不会是“快速起飞”，而是极其渐进的过程，跨越多年，可能十年。
首先要知道的是，自我改进，即模型自我训练，不是二元的。考虑GPT-5训练GPT-6的场景，这将是不可思议的。GPT-5会突然从完全无法训练GPT-6变得极其熟练吗？绝对不是。第一次GPT-6训练运行可能在时间和计算上比人类研究人员低效得多。只有在多次试验后，GPT-5才能真正比人类更好地训练GPT-6。
其次，即使模型可以自我训练，它也不会突然在所有领域都变得更好。在不同领域自我改进的难度存在梯度。例如，自我改进最初可能只适用于我们已知如何在训练后轻松修复的领域，比如基本的幻觉或风格。接下来是数学和编程，这需要更多工作，但有成熟的方法来改进模型。而在极端情况下，可以想象有些任务对自我改进非常困难。例如，说特林吉特语的能力，这是一种只有约500人使用的美洲原住民语言。模型很难自我改进说特林吉特语，因为除了收集更多数据（这需要时间）之外，我们还没有解决这种低资源语言的方法。因此，由于自我改进难度的梯度，不会同时发生。
最后，这可能是有争议的，但科学的进步最终受限于现实世界的实验。有些人可能认为阅读所有生物学论文就能知道治愈癌症的方法，或者阅读所有机器学习论文并掌握所有数学就能完美训练GPT-10。如果是这样，那么读论文最多、理论学习最深入的人就会是最好的AI研究员。但实际上，AI（以及许多其他领域）被极其注重实验的研究人员主导，这反映了进步在很大程度上基于现实世界的实验，而不是原始智慧。所以我的观点是，尽管一个超级智能代理可能设计出比我们最好的人类研究人员好2倍甚至5倍的实验，但最终他们仍然需要等待实验运行，这将是加速，而不是快速起飞。
总之，进步存在许多瓶颈，不仅仅是原始智慧或自我改进系统。AI将解决许多领域，但每个领域有其自身的进步速度。即使是最高智能也需要在现实世界中进行实验。所以这将是加速，而不是快速起飞，谢谢阅读我的长篇大论。
首先要知道的是，自我改进，即模型自我训练，不是二元的。考虑GPT-5训练GPT-6的场景，这将是不可思议的。GPT-5会突然从完全无法训练GPT-6变得极其熟练吗？绝对不是。第一次GPT-6训练运行可能在时间和计算上比人类研究人员低效得多。只有在多次试验后，GPT-5才能真正比人类更好地训练GPT-6。
其次，即使模型可以自我训练，它也不会突然在所有领域都变得更好。在不同领域自我改进的难度存在梯度。例如，自我改进最初可能只适用于我们已知如何在训练后轻松修复的领域，比如基本的幻觉或风格。接下来是数学和编程，这需要更多工作，但有成熟的方法来改进模型。而在极端情况下，可以想象有些任务对自我改进非常困难。例如，说特林吉特语的能力，这是一种只有约500人使用的美洲原住民语言。模型很难自我改进说特林吉特语，因为除了收集更多数据（这需要时间）之外，我们还没有解决这种低资源语言的方法。因此，由于自我改进难度的梯度，不会同时发生。
最后，这可能是有争议的，但科学的进步最终受限于现实世界的实验。有些人可能认为阅读所有生物学论文就能知道治愈癌症的方法，或者阅读所有机器学习论文并掌握所有数学就能完美训练GPT-10。如果是这样，那么读论文最多、理论学习最深入的人就会是最好的AI研究员。但实际上，AI（以及许多其他领域）被极其注重实验的研究人员主导，这反映了进步在很大程度上基于现实世界的实验，而不是原始智慧。所以我的观点是，尽管一个超级智能代理可能设计出比我们最好的人类研究人员好2倍甚至5倍的实验，但最终他们仍然需要等待实验运行，这将是加速，而不是快速起飞。
总之，进步存在许多瓶颈，不仅仅是原始智慧或自我改进系统。AI将解决许多领域，但每个领域有其自身的进步速度。即使是最高智能也需要在现实世界中进行实验。所以这将是加速，而不是快速起飞，谢谢阅读我的长篇大论。