转推:签署"放缓信",呼吁终结 AI 发展的"竞赛"时代,加强对齐与治理。

转推 @deanwball:我签署了那封关于放慢 AI 能力发展速度的"放缓信",因为我们要么已经、要么很快就要到达这样一个节点:人类专家无法再可靠地保证前沿 AI 系统不会做出危险且不可预测的事情。AI 系统在某些领域正变得比最优秀的人类更聪明,而几乎从定义上讲,要预测一个比你更聪明的东西会做什么,是非常困难的。

没有理由一头冲进那样一个结局:比人类更聪明的 AI 在做着不可预测的事——这简直是疯了。在这种语境下,"胜利"到底指什么?难道我应该嫉妒另一个国家能比美国更快地造出更多自己无法控制的机器吗?对这件事来说,"竞赛"从来就不是一个好的比喻,它极大地低估了其中牵涉的利害关系。

是时候给 AI 发展的"竞赛"时代画上句号了。如果政府能成为 AI 发展下一阶段的合作伙伴,那将是非常好的事——这一阶段必须集中力量做对齐、可解释性、安全、监控等工作。这里也同样需要外交手段,因为一个国家抢先狂奔可能带来的巨大负外部性将是全球共同承受的。

也许这只是我的个人感受,但今年我感觉 AI 政策变得越来越小气、越来越阵营化。事情变得更针对个人、更苦涩、更刻薄。我希望我们能超越这些。这件事真的比那些尖声吵闹的小争执要严肃得多。