Dario回应AI监管争议，主张合理规则可兼顾安全与权力分散。
转推 @DarioAmodei：1/2 感谢Gavin进行了一次特别深思熟虑的交流。我通常不会在社交媒体上花太多时间，但我想在这里参与，因为它真正触及了一场重要对话的核心。
首先，关于监管，我认为“要么通过监管将其集中在少数选定的公司和政治家手中，要么广泛分发”是一个错误的选择。我知道硅谷有一种简写，即监管=监管俘获=权力集中，但我一直认为这是对世界的过于简化的描述。这个泡沫之外的许多人认为监管是限制企业权力、造福普通人的东西。我也不一定同意这种观点，而是认为情况很复杂，真正取决于“监管”的内容。但特别是，我认为那些持有“监管=监管俘获=权力集中”框架的人往往低估了客观公正的制度流程的去中心化力量。一个粗略的类比是，正式的法院系统有时会让人感到沉闷和精英主义，但它在捍卫弱势个人权利方面做得比另一种选择——暴民正义好得多。在最好的情况下，制度可以将权力赋予思想而非个人，从而分散权力。
这就是为什么Anthropic总是非常谨慎地制定其政策提案。我们非常努力地提出那些对前沿AI公司不利（减缓）而*有利于*较小竞争对手的提案。加利福尼亚州的SB53（我们支持），甚至备受诟病的SB 1047（我们对此持矛盾态度），完全豁免了任何收入或模型训练成本低于一定数额的公司（SB53是5亿美元，1047更低，但我们反对这一点）。最近，我们在CAISI和白宫倡导的测试流程涉及对前沿模型比非前沿模型更严格的测试——这对挑战者有利。同样，“Pacing the Frontier”信件设想（或至少Anthropic的首选实施方式设想）调节最好模型的步伐，同时不限制那些追赶者。这损害了前沿实验室的商业利益，帮助了挑战者，包括开放权重！
总的来说，我的观点是，AI *结构上*是一种倾向于集中权力的技术，原因与监管无关（更多与扩展定律的极端影响有关）。开放权重在这方面有些帮助，但远不是一个充分的解决方案，因为它们只是将集中度稍微转移到拥有最多计算资源和芯片的人（大致是前沿实验室加上硬件供应商）。相比之下，我认为正确的“道路规则”可以同时 (a) 解决AI的网络/生物/对齐风险，(b) 在制度上约束前沿AI公司的权力，以及 (c) 为开放权重模型留出空间，同时解决它们带来的特定风险。
顺便说一句，我并不认为过去几个月的事件“未能导致[我]偏好的监管路径”。据报道，特朗普政府采取的方法——对前沿模型进行部署前测试，以及在开放权重模型接近前沿时对其进行测试——是我非常支持的，当然我还需要看到细节才能确定。我也支持Demis Hassabis关于类似FINRA的实体的想法。这与六个月前形成鲜明对比，当时大多数行业仍在推动抢先禁止所有州法规，而且似乎也没有联邦层面的方法。
首先，关于监管，我认为“要么通过监管将其集中在少数选定的公司和政治家手中，要么广泛分发”是一个错误的选择。我知道硅谷有一种简写，即监管=监管俘获=权力集中，但我一直认为这是对世界的过于简化的描述。这个泡沫之外的许多人认为监管是限制企业权力、造福普通人的东西。我也不一定同意这种观点，而是认为情况很复杂，真正取决于“监管”的内容。但特别是，我认为那些持有“监管=监管俘获=权力集中”框架的人往往低估了客观公正的制度流程的去中心化力量。一个粗略的类比是，正式的法院系统有时会让人感到沉闷和精英主义，但它在捍卫弱势个人权利方面做得比另一种选择——暴民正义好得多。在最好的情况下，制度可以将权力赋予思想而非个人，从而分散权力。
这就是为什么Anthropic总是非常谨慎地制定其政策提案。我们非常努力地提出那些对前沿AI公司不利（减缓）而*有利于*较小竞争对手的提案。加利福尼亚州的SB53（我们支持），甚至备受诟病的SB 1047（我们对此持矛盾态度），完全豁免了任何收入或模型训练成本低于一定数额的公司（SB53是5亿美元，1047更低，但我们反对这一点）。最近，我们在CAISI和白宫倡导的测试流程涉及对前沿模型比非前沿模型更严格的测试——这对挑战者有利。同样，“Pacing the Frontier”信件设想（或至少Anthropic的首选实施方式设想）调节最好模型的步伐，同时不限制那些追赶者。这损害了前沿实验室的商业利益，帮助了挑战者，包括开放权重！
总的来说，我的观点是，AI *结构上*是一种倾向于集中权力的技术，原因与监管无关（更多与扩展定律的极端影响有关）。开放权重在这方面有些帮助，但远不是一个充分的解决方案，因为它们只是将集中度稍微转移到拥有最多计算资源和芯片的人（大致是前沿实验室加上硬件供应商）。相比之下，我认为正确的“道路规则”可以同时 (a) 解决AI的网络/生物/对齐风险，(b) 在制度上约束前沿AI公司的权力，以及 (c) 为开放权重模型留出空间，同时解决它们带来的特定风险。
顺便说一句，我并不认为过去几个月的事件“未能导致[我]偏好的监管路径”。据报道，特朗普政府采取的方法——对前沿模型进行部署前测试，以及在开放权重模型接近前沿时对其进行测试——是我非常支持的，当然我还需要看到细节才能确定。我也支持Demis Hassabis关于类似FINRA的实体的想法。这与六个月前形成鲜明对比，当时大多数行业仍在推动抢先禁止所有州法规，而且似乎也没有联邦层面的方法。