Ideas: 借助 Paraphrase 项目实现更具 AI 韧性的生物安全
本文讲述一个红队测试项目如何发现 AI 蛋白质设计工具可能被滥用于制造生物武器，并提出了加固方案。
嘉宾Bruce Wittmann、Tessa Alexanian、James Diggans
话题脉络
- 1:19发现AI可绕过生物安全筛查
开源AI蛋白质设计工具能改写有毒蛋白质序列，使之逃过现有生物安全筛查系统，促使Paraphrase Project启动。
ERIC HORVITZ - 8:00蛋白质基础概述
蛋白质由氨基酸序列决定结构，结构决定功能；序列空间近乎无限，给工程带来巨大挑战。
BRUCE WITTMANN - 10:44蛋白质从计算机到现实
Twist Bioscience等公司负责合成DNA序列，但需筛查客户订单以防止毒性蛋白质被滥用。
JAMES DIGGANS - 13:20IGSC与全球生物安全筛查
国际基因合成联盟（IGSC）成立于2010年，成员筛查客户订单以防止滥用，但AI工具可能规避传统筛查。
JAMES DIGGANS - 17:20Paraphrase Project红队测试
利用AI生成类似“改写版”的蛋白质序列（如蓖麻毒素），测试能否欺骗筛查工具，结果发现成功率极高。
BRUCE WITTMANN - 22:38行业响应与漏洞修补
IGSC对研究初期反应积极，但发现筛查缺陷后立即组建CERT（计算机应急响应小组）并开发“补丁”更新工具。
JAMES DIGGANS - 28:04更新后筛查效果验证
对72种模板蛋白测试，更新后的筛查工具捕获了大部分高风险“改写”序列，显著提升检测能力。
BRUCE WITTMANN - 30:45行业采纳新筛查策略
向IGSC成员展示成果时受到感激，行业意识到必须转向更灵活的筛查策略，而非仅依赖序列相似性。
JAMES DIGGANS - 37:37未来生物安全策略
未来需从模型层面转向系统层面应对风险，因为生物学工具具有双重用途，需建立多道防线。
BRUCE WITTMANN - 40:20负责任披露协议设计
研究面临透明性与安全性权衡，最终选择通过IBBIS创建受控访问的研究协议，限制敏感数据公开。
TESSA ALEXANIAN - 48:17未来工作建议
建议每半年重复类似研究，建立系统性监测机制，并鼓励更多AI+生物安全交叉领域工作。
JAMES DIGGANS
节目简介
微软的 Eric Horvitz 与嘉宾 Bruce Wittmann、Tessa Alexanian 和 James Diggans 讨论了 Paraphrase 项目——一项红队测试（模拟攻击以发现漏洞的安全测试），暴露并封锁了 AI 驱动蛋白质设计中的生物安全漏洞。这项工作为应对 AI 的双重用途风险提供了可复用的模型。