Nvidia开源agent沙箱工具,OpenWorker提升agent安全
OpenAI-Hugging Face 入侵事件源于薄弱的沙箱机制。Nvidia 发布用于沙箱化 AI agent 的开源工具,这很好。OpenWorker 是我们支持网络安全工作流的开源 agent harness,很自豪能支持这一举措。
沙箱给 agent 有限权限。OpenWorker 正在基于 Nvidia OpenShell 构建,并将支持在每个 agent 的沙箱内运行命令。只有与任务相关的文件会被放入。秘密 API key、你的浏览器登录凭证、访问任意网站的能力,默认都对 agent 不可访问。这些限制由确定性代码实现,而不是通过提示 LLM,因为 LLM 可能犯错或容易受到提示注入攻击。此外,所有操作都会被记录,用于监控和审计。
感谢 @JensenHuang 的领导,让 AI agent 更安全。OpenWorker(@rohitcprasad 和我正在开发)将继续提升 agent 的安全性。
沙箱给 agent 有限权限。OpenWorker 正在基于 Nvidia OpenShell 构建,并将支持在每个 agent 的沙箱内运行命令。只有与任务相关的文件会被放入。秘密 API key、你的浏览器登录凭证、访问任意网站的能力,默认都对 agent 不可访问。这些限制由确定性代码实现,而不是通过提示 LLM,因为 LLM 可能犯错或容易受到提示注入攻击。此外,所有操作都会被记录,用于监控和审计。
感谢 @JensenHuang 的领导,让 AI agent 更安全。OpenWorker(@rohitcprasad 和我正在开发)将继续提升 agent 的安全性。
今天,我们与超过 100 家行业合作伙伴一起推出了 NVIDIA Open Agent Safety Platform,将 OpenShell 和 Sentry 结合在一起。
人工智能是非凡的技术,将在未来几代人中推动发现、生产力、安全、健康和繁荣 https://t.co/dReAxwpRUn