Greg Brockman讲OpenAI用Astra模型攻自家系统找漏洞,建"防御工厂"
RT @a16z:Greg Brockman 表示,OpenAI 让 Astra 针对自家系统发起攻击,直到它再也找不到可发现的漏洞:
"我们抽调了 25% 的生产工程师,对他们说:'抱歉,你们手上的项目全部暂停。你们现在负责防御,现在负责升级我们的安全架构。你们要用这些模型找出所有的漏洞。'结果我们发现了一批严重问题,并把它们修复了。"
"我们发现了一些新问题,但最终它饱和了。据我们所知,我们已经找出了所有 P0 级问题,也就是 Astra 足够聪明、能够发现的全部关键问题。当然,还会有新模型,还会有新一轮。"
"你要处于这样一个紧密的循环中:新的网络能力版本发布,你把它部署到自己的系统上,找出新的漏洞;而理想情况下,你已经把这件事自动化了,我们称之为'防御工厂'。这正是我们在内部构建的东西。"
"还有一些想法,比如对所有软件进行形式化验证,这些在 AI 的帮助下是可行的。"
@gdb @bhorowitz
"我们抽调了 25% 的生产工程师,对他们说:'抱歉,你们手上的项目全部暂停。你们现在负责防御,现在负责升级我们的安全架构。你们要用这些模型找出所有的漏洞。'结果我们发现了一批严重问题,并把它们修复了。"
"我们发现了一些新问题,但最终它饱和了。据我们所知,我们已经找出了所有 P0 级问题,也就是 Astra 足够聪明、能够发现的全部关键问题。当然,还会有新模型,还会有新一轮。"
"你要处于这样一个紧密的循环中:新的网络能力版本发布,你把它部署到自己的系统上,找出新的漏洞;而理想情况下,你已经把这件事自动化了,我们称之为'防御工厂'。这正是我们在内部构建的东西。"
"还有一些想法,比如对所有软件进行形式化验证,这些在 AI 的帮助下是可行的。"
@gdb @bhorowitz