反对因AI风险而冻结技术进步，批评末日论等观点

这是反进步的，因为如果我们为了规避AI风险而冻结技术进步，可能会因为其他本可由AI帮助我们解决的问题而招致毁灭。此外，执行禁令需要暴政，导致社会停滞。为了确保“没人能建造它”，你需要一个全球性的极权监控国家来监控所有硬件和代码（打击数据中心，对国家、公司和团体采取军事行动，甚至刺杀研究人员）。这摧毁了开放社会，而开放社会是解决问题、创新和进步的引擎。

这是末日论，因为断言AI将不可避免地杀死所有人，假设我们能预测知识的未来增长。

这是原教旨主义和教条主义，因为它将“正交性”和“工具趋同”等假设视为绝对的自然法则（而它们实际上是对智能的还原论观点）。通过假设这些理论无可辩驳地为真，它将毁灭的概率视为近乎确定，过早地排除了技术解决方案的可能性。

这是无谬误主义，因为它没有给纠错留出余地。它假设AI当前的工作模型（以及它失败的方式）是不可改变的最终现实。

这是不科学的，因为它无法在事件（AI杀死所有人）发生前进行检验。它拒绝了迭代纠错的科学机制。“我们只有一次机会”的说法假设AI能力会从“安全”瞬间跃升至“神级致命”，跳过了我们犯错并修复的阶段。在其他工程领域，我们依赖小失败来防止大失败（我相信 @ylecun 过去也提出过类似论点）。断言AI是唯一无法进行试错的技术，是一个缺乏非凡证据的非凡主张。

问题是可以解决的，除非它们违反物理定律。我不认为存在物理定律排除通过技术和社会方案实现超级对齐以达成仁慈超级智能的可能性。

顺便说一句，我不反对这类思想实验、战略模拟和兵棋推演，但在得出涉及武力的极端政策建议之前，我希望看到非凡的经验证据。