Noam Brown回应采访争议:隔离需多层防御,airgap也非绝对
RT @polynoamial:关于这一点,有几点想法:
1)如果你只看了这次采访的片段,我建议你去看完整的播客。我在其中对不少AI炒作提出了反驳。
2)正如我在播客里说的,这个例子是学术性的。我的本意是说明要对隔离做出绝对保证有多难,这就是为什么必须有多层防御。片段开始之前的部分,我正是在讲其他几层防御。
3)我举的例子不是关于通过温度传感器窃取权重,而是关于本应完全隔离、相互独立的agent之间的协调。协调可能只需要极少量的信息。
4)从HF事件中学到的一个教训是:我们过于信任沙箱隔离,而没有足够的独立保障措施。airgap是一种极其强大的保障。在设计安全协议时,我认为宁可高估也不要低估。
1)如果你只看了这次采访的片段,我建议你去看完整的播客。我在其中对不少AI炒作提出了反驳。
2)正如我在播客里说的,这个例子是学术性的。我的本意是说明要对隔离做出绝对保证有多难,这就是为什么必须有多层防御。片段开始之前的部分,我正是在讲其他几层防御。
3)我举的例子不是关于通过温度传感器窃取权重,而是关于本应完全隔离、相互独立的agent之间的协调。协调可能只需要极少量的信息。
4)从HF事件中学到的一个教训是:我们过于信任沙箱隔离,而没有足够的独立保障措施。airgap是一种极其强大的保障。在设计安全协议时,我认为宁可高估也不要低估。