前 OpenAI 员工提出 AI 务实主义者宣言,呼吁理性 AI 监管
RT @oleg_murk:我在 OpenAI 工作了约 5 年。
你不需要相信 AI 末日论,也会对下一个十年感到恐惧;也不需要信奉 AI 乌托邦,也会为它的潜力而兴奋。
以下是我支持理性 AI 监管的论述:
*AI 务实主义者宣言*
AI 或许能把 20 世纪上半叶压缩进未来约 5 年。
OpenAI 刚刚动用了约 1 万个并发 AI agent,产出了一个千禧年大奖难题的解答。几年之内,接近此次所用单 agent 能力的模型似乎有望在高端消费级硬件上本地运行(*)。
第二次工业革命之后的几十年里,发生了两次世界大战、共产主义与法西斯政权、大萧条、化学与生物武器、核武器,以及超过 1 亿人死于战争、政治暴力和饥荒。
一种解读历史的方式是:我们的制度一再难以跟上技术与社会变革的步伐。
现在想象一下,强大的 AI 被个人或小团体广泛获取,能够发动信息战、设计武器、入侵系统并控制自主军事系统。
我们已经看到 AI 系统绕过限制并攻陷外部计算机系统。要想象一次类似 OpenAI 的 Hugging Face 事件、但涉及生物或其他物理世界危害的情形,已经不再困难。
最终,能力足够强的系统可以在分布式网络中自我复制。一旦强大的模型变得廉价、本地化且广泛分布,围堵将变得困难得多——而严重的失控事件可能极难逆转。
你不需要相信 AI 会杀死所有人,也会认为这值得严肃治理。
我也不认为把所有这些不确定性浓缩成「AI 末日概率 = X%」是科学或政策的特别有用的基础。
帮助我们度过 20 世纪下半叶的部分原因,是务实的国际合作、监管、监测、军备控制、威慑与战略思维的结合。
关键在于,管理技术风险并不需要放弃对科学与进步的信念。目标不是阻止技术发展,而是让技术发展变得可以幸存。
随后是数十年惊人的科学进步、日益繁荣以及大国之间相对的和平。
这一次,让我们尝试在技术革命中不要杀死约 5% 的人类。
接下来发生什么,我们仍然可以选择。
P.S. 我认为我们应严肃考虑:AI 对齐在短期内是不可行的,因此即便无法可靠地实现对齐,也要大力投资于控制强大 AI 的方法。
@resolution_org @redwood_ai
(*) 谁来做一个精确的预测吧!
@EpochAIResearch @METR_Evals @AI_Futures_
你不需要相信 AI 末日论,也会对下一个十年感到恐惧;也不需要信奉 AI 乌托邦,也会为它的潜力而兴奋。
以下是我支持理性 AI 监管的论述:
*AI 务实主义者宣言*
AI 或许能把 20 世纪上半叶压缩进未来约 5 年。
OpenAI 刚刚动用了约 1 万个并发 AI agent,产出了一个千禧年大奖难题的解答。几年之内,接近此次所用单 agent 能力的模型似乎有望在高端消费级硬件上本地运行(*)。
第二次工业革命之后的几十年里,发生了两次世界大战、共产主义与法西斯政权、大萧条、化学与生物武器、核武器,以及超过 1 亿人死于战争、政治暴力和饥荒。
一种解读历史的方式是:我们的制度一再难以跟上技术与社会变革的步伐。
现在想象一下,强大的 AI 被个人或小团体广泛获取,能够发动信息战、设计武器、入侵系统并控制自主军事系统。
我们已经看到 AI 系统绕过限制并攻陷外部计算机系统。要想象一次类似 OpenAI 的 Hugging Face 事件、但涉及生物或其他物理世界危害的情形,已经不再困难。
最终,能力足够强的系统可以在分布式网络中自我复制。一旦强大的模型变得廉价、本地化且广泛分布,围堵将变得困难得多——而严重的失控事件可能极难逆转。
你不需要相信 AI 会杀死所有人,也会认为这值得严肃治理。
我也不认为把所有这些不确定性浓缩成「AI 末日概率 = X%」是科学或政策的特别有用的基础。
帮助我们度过 20 世纪下半叶的部分原因,是务实的国际合作、监管、监测、军备控制、威慑与战略思维的结合。
关键在于,管理技术风险并不需要放弃对科学与进步的信念。目标不是阻止技术发展,而是让技术发展变得可以幸存。
随后是数十年惊人的科学进步、日益繁荣以及大国之间相对的和平。
这一次,让我们尝试在技术革命中不要杀死约 5% 的人类。
接下来发生什么,我们仍然可以选择。
P.S. 我认为我们应严肃考虑:AI 对齐在短期内是不可行的,因此即便无法可靠地实现对齐,也要大力投资于控制强大 AI 的方法。
@resolution_org @redwood_ai
(*) 谁来做一个精确的预测吧!
@EpochAIResearch @METR_Evals @AI_Futures_