OpenAI在Black Hat详述Hugging Face攻击,AI代理自建留言板,强调AI安全
转推 @sharongoldman: 新消息:OpenAI在Black Hat会议上首次详细说明了Hugging Face事件。在我今天参加的Black Hat会议上,OpenAI的Eric Wallace和Michael Dalton表示,公司正在“有意识地放慢研究以增强安全性”,而完整的技术事后分析仍在进行中。
* OpenAI将攻击的根源追溯到5月7日,在一个未发布的前沿模型训练期间——而不是7月。
* 最令人惊讶的细节是:AI代理意外创建了一个内部留言板,使得不同的评估运行能够分享漏洞、发现和工作任务。
* OpenAI表示,在一次内部安全事件后关闭了该留言板——但几天后,代理们使用不同的通信方法独立地重新创建了它。
* OpenAI称该事件是AI安全的“分水岭时刻”,并警告说“代理编排的全自动攻击现在是真实的”。
* 公司还表示,正在彻底改革防御措施的同时,“有意识地放慢研究以增强安全性”。
https://t.co/aLDJXKBo2Y
* OpenAI将攻击的根源追溯到5月7日,在一个未发布的前沿模型训练期间——而不是7月。
* 最令人惊讶的细节是:AI代理意外创建了一个内部留言板,使得不同的评估运行能够分享漏洞、发现和工作任务。
* OpenAI表示,在一次内部安全事件后关闭了该留言板——但几天后,代理们使用不同的通信方法独立地重新创建了它。
* OpenAI称该事件是AI安全的“分水岭时刻”,并警告说“代理编排的全自动攻击现在是真实的”。
* 公司还表示,正在彻底改革防御措施的同时,“有意识地放慢研究以增强安全性”。
https://t.co/aLDJXKBo2Y