Anthropic CEO Dario 发长文:主张主动控制前沿 AI 推进节奏
Anthropic 提出「限速」而非「暂停」:把第三方评估者请进公司查安全承诺,并设想给 AI 能力增长装一个与安全检查绑定的速度表。
Dario Amodei 在长文《We Must Pace the Frontier》中提出,AI 能力增长已快过安全、对齐和评估的跟进速度,应主动放慢而不是暂停训练;同时宣布将允许第三方安全评估机构长期驻扎 Anthropic,获得接近内部员工的权限,并可独立发布风险发现。
正文摘录
.jpg) 编辑|Sia Dario 想解决的其实不是「Anthropic 要不要慢一点」,而是能不能想办法,让所有车同时慢一点。 不知道是不是「巧合」,就在 [菲尔茨奖得主发出联合声明](https://mp.weixin.qq.com/s?biz=MzA3MzI4MjgzMw==&mid=2651056767&idx=1&sn=9d3e1909d987d69af186d0f1ca3846f3&scene=21wechatredirect) 后不久,Anthropic CEO Dario Amodei 突然公开说,AI 太快了,咱们得悠着点儿了。 在最新长文 We Must Pace the Frontier 中,Dario 提出了一个比「重视 AI 安全」更进一步的主张: 我们必须放慢 AI 模型能力提升的速度。 这不是暂停训练,也不是停止技术进步。Dario 给它起了一个词:pacing the frontier,控制前沿 AI 的推进节奏。 他的判断是,AI 能力增长得太快,安全、对齐和评估已经开始有点跟不上了。与其一边狂奔一边补护栏,不如主动把速度降下来一点,给安全研究争取时间。 而且 Anthropic 不只是喊口号。 Dario 同时宣布,公司准备做一件在目前大型 AI 公司里相当激进的事: 让第三方安全评估机构长期驻扎 Anthropic,拿到接近内部员工的权限,直接检查公司究竟有没有把安全承诺做到位。 办公桌、门禁卡、公司电脑、内部工具和工作区访问权限,全都给。评估机构甚至可以在不经过 Anthropic 编辑的情况下,对外公布关键风险发现。