超级智能开发风险类比心脏手术，权衡利弊

考虑到这一点，显然（与Hunt、Yampolskiy及其他作家不同）将AGI发展比作俄罗斯轮盘赌的类比是不恰当的。是的，推出超级智能会带来巨大风险——但更好的类比是，一个患有严重心脏病的患者决定是否接受高风险手术。想象一位患有晚期冠状动脉疾病的患者，他必须权衡搭桥手术的即时风险与不治疗条件的持续风险。不做手术，他们可能还能活几个月，每天因心脏事件死亡的风险逐渐增加。单日死亡风险虽小，但会随时间累积。如果选择手术，他们面临更高的立即死在手术台上的风险。然而，如果手术成功，回报是多年更健康的额外寿命。

患者是否应该接受手术，以及何时进行，取决于许多变量——他们的风险承受能力、对未来生命年的折现率、是否有更熟练的外科医生在未来出现、治愈后生活质量会提高多少等等。所有这些考量在决定是否以及何时部署变革性超级智能时都有明确的对应。

当我们考虑账目双方时，很明显，如果超级智能在合理的时间内开发出来，我们个体的预期寿命会更高。而且，我们将获得的寿命质量可能远高于我们可能失去的寿命。即使对对齐失败的AI导致灾难的概率持有高度悲观的“末日论”假设，这一结论也成立。