以科学为参照讨论AI递归自我改进与智能爆炸
现实世界中充满了递归自我改进的系统，但有一个尤其值得关注：科学，可以把科学建模为一个系统（甚至可以建模为一个拥有目标和资源的智能体）。如果你想真正理解 AI 的 RSI，科学应当是你的参照点。
科学是一个智能系统，而且它显然在进行递归自我改进：
1. 科学发现解锁新技术，从而帮助建造更好的实验工具。这几乎是所有领域进步的首要驱动因素。
2. 科学发现解锁新的概念进展（想法、理论），帮助解决更多问题。
3. 科学发现提高社会经济产出，使更多资源流入科学。
4. 科学发现解锁更好、更快的工具（例如通过更好的芯片与网络技术带来更多算力）。
结果是，许多衡量科学*投入*的指标都在指数增长：
1. 科研人员数量（约每 15 年翻一番）
2. 全球研发支出（翻倍稍快，约每 13 年翻一番）
3. 论文与专利（严格说这是对人员数量的一种衡量）
4. 投入科学的算力（约每 2 年翻一番）
但科学进步是指数增长的吗？从历史上看，自工业革命开始以来，科学影响力的速率随时间大致保持恒定（也就是说，科学进步是*线性*的）。1850—1900 年与 1900—1950 年或 1950—2000 年大致同样剧烈。
1850—1900：进化论、细菌学说与消毒外科、热力学、电磁场方程、元素周期表、药物、电力、电报与电话、内燃机、摩天大楼、机械化农业……
1900—1950：狭义与广义相对论、量子力学、核裂变与原子能、抗生素、遗传理论、电子计算机、信息论、合成聚合物与塑料、晶体管、航空……
1950—2000：DNA、基因工程、集成电路、微处理器与个人计算、互联网、载人航天、登月、卫星通信与 GPS、粒子物理标准模型……
按实际值来看，就像预期寿命一样——自 1840 年以来，预期寿命以约每年 3 个月的惊人线性方式增长——进步是一条直线。对于影响容易衡量的领域，如生物学、医学和农业，这一点尤其明显。
我在 2012 年首次写到了这一现象及其成因，此后一系列研究持续证实了它。例子包括 2018 年 Nielsen 和 Collison 的论文《Science Is Getting Less Bang for Its Buck》，以及 2020 年的经济学论文《Are Ideas Getting Harder to Find?》。（事实上，我相信 Nielsen 那篇论文源于六个月前我与他关于这个想法的对话。）
简而言之，主要原因是：研究会先解决影响最大、最容易的问题，而之后的每个问题要么更难，要么影响更低，而且是指数级地如此。那篇提出信息论的论文并不难写（单一作者！），但你想写出一篇在影响力上超过它的计算机科学论文会非常困难。
这就是为什么科学作为一个系统，需要指数级增长的资源（投入）才能产生线性的影响（产出）。随着时间推移，它变得指数级地更难。
如果你在思考 AI 的 RSI，这一点值得考虑。我完全相信 AI 的 RSI 已经在发生，并将在未来加速。但我不相信这会导致“智能爆炸”——那会违背我所知道的关于智能的一切，以及我所知道的关于递归自我改进系统的一切。
科学是一个智能系统，而且它显然在进行递归自我改进：
1. 科学发现解锁新技术，从而帮助建造更好的实验工具。这几乎是所有领域进步的首要驱动因素。
2. 科学发现解锁新的概念进展（想法、理论），帮助解决更多问题。
3. 科学发现提高社会经济产出，使更多资源流入科学。
4. 科学发现解锁更好、更快的工具（例如通过更好的芯片与网络技术带来更多算力）。
结果是，许多衡量科学*投入*的指标都在指数增长：
1. 科研人员数量（约每 15 年翻一番）
2. 全球研发支出（翻倍稍快，约每 13 年翻一番）
3. 论文与专利（严格说这是对人员数量的一种衡量）
4. 投入科学的算力（约每 2 年翻一番）
但科学进步是指数增长的吗？从历史上看，自工业革命开始以来，科学影响力的速率随时间大致保持恒定（也就是说，科学进步是*线性*的）。1850—1900 年与 1900—1950 年或 1950—2000 年大致同样剧烈。
1850—1900：进化论、细菌学说与消毒外科、热力学、电磁场方程、元素周期表、药物、电力、电报与电话、内燃机、摩天大楼、机械化农业……
1900—1950：狭义与广义相对论、量子力学、核裂变与原子能、抗生素、遗传理论、电子计算机、信息论、合成聚合物与塑料、晶体管、航空……
1950—2000：DNA、基因工程、集成电路、微处理器与个人计算、互联网、载人航天、登月、卫星通信与 GPS、粒子物理标准模型……
按实际值来看，就像预期寿命一样——自 1840 年以来，预期寿命以约每年 3 个月的惊人线性方式增长——进步是一条直线。对于影响容易衡量的领域，如生物学、医学和农业，这一点尤其明显。
我在 2012 年首次写到了这一现象及其成因，此后一系列研究持续证实了它。例子包括 2018 年 Nielsen 和 Collison 的论文《Science Is Getting Less Bang for Its Buck》，以及 2020 年的经济学论文《Are Ideas Getting Harder to Find?》。（事实上，我相信 Nielsen 那篇论文源于六个月前我与他关于这个想法的对话。）
简而言之，主要原因是：研究会先解决影响最大、最容易的问题，而之后的每个问题要么更难，要么影响更低，而且是指数级地如此。那篇提出信息论的论文并不难写（单一作者！），但你想写出一篇在影响力上超过它的计算机科学论文会非常困难。
这就是为什么科学作为一个系统，需要指数级增长的资源（投入）才能产生线性的影响（产出）。随着时间推移，它变得指数级地更难。
如果你在思考 AI 的 RSI，这一点值得考虑。我完全相信 AI 的 RSI 已经在发生，并将在未来加速。但我不相信这会导致“智能爆炸”——那会违背我所知道的关于智能的一切，以及我所知道的关于递归自我改进系统的一切。