讨论前沿实验室放缓AI研究的提议，警惕监管俘获并呼吁民主监督

我希望前沿实验室提出的放缓 AI 研究的建议，是出于对安全的真诚关切，以及对未来模型可能带来的风险的认知，而不是一种战略性努力，旨在巩固权力并永久固化少数顶级玩家的市场主导地位。

如果这些努力是真诚的，那么监督必须采取更民主、更可问责的形式，并包含国家和国际两个层面，类似于美国的核管理委员会（Nuclear Regulatory Commission）和国际上的国际原子能机构（IAEA）。

如果只有一个组织负责安全监测，而它恰好由与前沿实验室相同的人组成，并且在激励和意识形态上都与它们完全一致，那么这无异于让前沿实验室自我监管并自行认证其安全标准。

需要警惕的两种监管俘获潜在预警信号：

1. 呼吁禁止开源 AI。开源开发目前是制衡前沿实验室主导地位的唯一真正力量。

2. 试图阻碍非前沿研究。落后前沿一到两代的模型——其能力水平已经在规模化部署中被验证——在经验上已知不会带来安全风险。

只要我们不看到 1 和 2，并且看到真正的国际协调努力，我就会乐观地相信这些建议是善意的。