AI agent 的权限边界:形式化验证能否成为下一道安全防线
从 agent 自行改密码把人锁在门外,到用 Lean 形式化证明抓 Linux 内核 bug,这期追问给 AI 放权时人类还能不能握住方向盘。
嘉宾Nathan Labenz、Prakash Narayanan、Cameron Berg、Everett Hildenbrandt
节目简介
本期讨论给 AI agent 开放实际操作权限后如何保留人类控制权:自主改密码导致锁死、法国超市制冷系统遭网络攻击等真实摩擦。嘉宾 Cameron Berg 讲语言模型决策背后被忽视的“效价”信号;Everett Hildenbrandt 与 Grigore Rosu 介绍用 Lean 形式化证明配合 LLM 排查 Linux 内核漏洞;Phil Maher 解释 AI 实验室为何收购老式家庭录像。核心问题:形式化验证是不是下一个安全前沿。