Ryan Greenblatt加入METR，研究AI灾难性风险与内部信息透明。
RT @RyanGreenblatt：我将加入 METR，开展更多类似我们 Hugging Face 报告那样的调查。
目前，大量关于 AI 发展的、甚至非常基础且与灾难性风险高度相关的信息都未公开。我以前对公开信息的价值更持怀疑态度，但近期的事件改变了我的看法。
获取关于 AI 公司内部情况的经过验证的信息，现在似乎尤为紧迫。我们掌握的有限公开证据，与这样一种可能性相符：迫在眉睫的递归自我改进可能会大幅加速能力进展，进而可能在此后 6 个月或一年内产生极其超人类的一般能力。如果这种情况发生，最坏结果的风险也会相应很大。关于极端结果的不确定性，可以通过更多经过验证的公开信息在很大程度上得到解决：我们要么能就近期风险建立更多共识，要么会了解到这类极端结果在近期发生的可能性更低。
除了 AI 能力和起飞之外，对于 AI 公司在对齐、安全、控制以及与风险相关的内部流程方面，公开证据的状态也极其有限。这使得我们很难确定这些关键领域在不久的将来究竟会发展得多好或多差。（METR 计划至少在初期只聚焦能力/起飞、对齐和控制；我希望其他团队能覆盖安全、内部流程及其他重要领域。）
虽然我已不再在 Redwood 工作，但我认为他们正在做的工作非常重要；我对 Redwood 在技术缓解措施研发以及更好地公开解读风险相关证据方面持续作出的贡献感到兴奋。
目前，大量关于 AI 发展的、甚至非常基础且与灾难性风险高度相关的信息都未公开。我以前对公开信息的价值更持怀疑态度，但近期的事件改变了我的看法。
获取关于 AI 公司内部情况的经过验证的信息，现在似乎尤为紧迫。我们掌握的有限公开证据，与这样一种可能性相符：迫在眉睫的递归自我改进可能会大幅加速能力进展，进而可能在此后 6 个月或一年内产生极其超人类的一般能力。如果这种情况发生，最坏结果的风险也会相应很大。关于极端结果的不确定性，可以通过更多经过验证的公开信息在很大程度上得到解决：我们要么能就近期风险建立更多共识，要么会了解到这类极端结果在近期发生的可能性更低。
除了 AI 能力和起飞之外，对于 AI 公司在对齐、安全、控制以及与风险相关的内部流程方面，公开证据的状态也极其有限。这使得我们很难确定这些关键领域在不久的将来究竟会发展得多好或多差。（METR 计划至少在初期只聚焦能力/起飞、对齐和控制；我希望其他团队能覆盖安全、内部流程及其他重要领域。）
虽然我已不再在 Redwood 工作，但我认为他们正在做的工作非常重要；我对 Redwood 在技术缓解措施研发以及更好地公开解读风险相关证据方面持续作出的贡献感到兴奋。