讽刺长期主义与AI安全圈的段子:从买蚊帐一路推到阻止AI灭绝。
RT @banteg:
>是我
>发现了有效利他主义
>原来普通慈善都挺低效
>为什么要把钱捐给随便某个悲惨的事,当表格能告诉你哪个悲惨的事最优
>有道理
>买蚊帐
>拯救生命
>数字好看
>感觉自己很强大
>几年后
>有人问了个天真问题
>为什么只算今天活着的人
>呃
>未来的人也算数啊
>显然
>我的孙辈不该只因为还没出生就不那么重要
>合理.jpg
>继续顺着逻辑推
>那他们的孙辈呢
>也算
>那500年后的人呢
>算
>5000年
>为什么不呢
>5亿年
>开始有点怪了,但道德就是道德
>打开计算器
>人类可能存活天文数字般漫长的时间
>可能殖民银河系
>可能有万亿亿的后代
>也许还有数字人
>也许是模拟文明
>也许是装满快乐上传意识的戴森球
>计算器开始冒烟
>意识到当下活着的人类只是舍入误差
>80亿人突然显得极其菜鸡
>未来可能有10的多少次方的人
>连受益人都塞不进Google表格
>新的道德优先级解锁
>保护长期未来
>不再用"帮助了多少人"为单位思考
>开始用"保全了宇宙禀赋的几分之几"来思考
>疟疾?
>很糟
>但它只杀死现有的人类
>AI灭绝可能抹掉整个光锥
>核战争可能让文明永久脱轨
>糟糕的制度可能把可怕的价值锁定一千万年
>有人在2140年发明了错误的宪法
>千千万万亿人受苦
>最好现在就资助治理工作坊
>朋友说也许我们该改善医院
>解释机会成本
>朋友说医院里全是真正生病的人
>解释范围敏感性
>朋友不再请我吃饭
>需要决定资助什么
>简单
>期望值
>假设某项目有百万分之一的概率阻止灭绝
>听起来很小
>但灭绝会毁掉10^50个未来生命
>乘一下
>我的老天
>1000万美元的项目,期望值抵得上好几个星系
>慈善评估完成
>有人问这个百万分之一是从哪来的
>专家判断
>哪位专家
>我们
>校准得怎么样
>极其深思熟虑
>保守起见把估计降到千万分之一
>仍然比治愈癌症高出38个数量级
>认识论稳健性达成
>有人说也许项目根本没用
>给它20%的概率
>仍然是天文数字
>也许项目让问题更糟
>给它5%的概率
>仍然是天文数字
>为什么是5
>因为30感觉太悲观了
>发布46页报告
>包含17项敏感性分析
>每项敏感性分析都从"假设干预方向为正"开始
>批评者说你在拿巨大的假想筹码乘以极不确定的概率
>对
>这恰恰就是它重要的原因
>批评者说不确定性可能是结构性的,而不是数值性的
>把概率再调小
>批评者说不,我的意思是你的模型可能错了
>再把概率调小
>批评者开始揉太阳穴
>发现了AI安全
>完美的长期主义事业
>AI可能杀死所有人
>或者创造乌托邦
>或者夺取银河系
>或者用回形针铺满宇宙
>或者创造数十亿有意识的软件心智
>终于有一个数字大到配得上我的问题了
>创办AI安全非营利组织
>使命:阻止危险的AI
>雇最聪明的人
>最聪明的人立刻开始造更好的AI,好理解危险的AI
>有意思
>我们必须理解能力才能理解安全
>我们必须扩展模型来研究对齐
>我们必须抢在前面,免得那些更不负责的人先到达
>我们必须部署系统,才能了解部署会怎么出错
>我们必须快点把东西造出来,因为快点把东西造出来很危险
>外人问为什么最担心AI末日的人都在AI公司上班
>这领域很复杂
>公司发布更强的模型
>非常担忧
>公司开始训
>是我
>发现了有效利他主义
>原来普通慈善都挺低效
>为什么要把钱捐给随便某个悲惨的事,当表格能告诉你哪个悲惨的事最优
>有道理
>买蚊帐
>拯救生命
>数字好看
>感觉自己很强大
>几年后
>有人问了个天真问题
>为什么只算今天活着的人
>呃
>未来的人也算数啊
>显然
>我的孙辈不该只因为还没出生就不那么重要
>合理.jpg
>继续顺着逻辑推
>那他们的孙辈呢
>也算
>那500年后的人呢
>算
>5000年
>为什么不呢
>5亿年
>开始有点怪了,但道德就是道德
>打开计算器
>人类可能存活天文数字般漫长的时间
>可能殖民银河系
>可能有万亿亿的后代
>也许还有数字人
>也许是模拟文明
>也许是装满快乐上传意识的戴森球
>计算器开始冒烟
>意识到当下活着的人类只是舍入误差
>80亿人突然显得极其菜鸡
>未来可能有10的多少次方的人
>连受益人都塞不进Google表格
>新的道德优先级解锁
>保护长期未来
>不再用"帮助了多少人"为单位思考
>开始用"保全了宇宙禀赋的几分之几"来思考
>疟疾?
>很糟
>但它只杀死现有的人类
>AI灭绝可能抹掉整个光锥
>核战争可能让文明永久脱轨
>糟糕的制度可能把可怕的价值锁定一千万年
>有人在2140年发明了错误的宪法
>千千万万亿人受苦
>最好现在就资助治理工作坊
>朋友说也许我们该改善医院
>解释机会成本
>朋友说医院里全是真正生病的人
>解释范围敏感性
>朋友不再请我吃饭
>需要决定资助什么
>简单
>期望值
>假设某项目有百万分之一的概率阻止灭绝
>听起来很小
>但灭绝会毁掉10^50个未来生命
>乘一下
>我的老天
>1000万美元的项目,期望值抵得上好几个星系
>慈善评估完成
>有人问这个百万分之一是从哪来的
>专家判断
>哪位专家
>我们
>校准得怎么样
>极其深思熟虑
>保守起见把估计降到千万分之一
>仍然比治愈癌症高出38个数量级
>认识论稳健性达成
>有人说也许项目根本没用
>给它20%的概率
>仍然是天文数字
>也许项目让问题更糟
>给它5%的概率
>仍然是天文数字
>为什么是5
>因为30感觉太悲观了
>发布46页报告
>包含17项敏感性分析
>每项敏感性分析都从"假设干预方向为正"开始
>批评者说你在拿巨大的假想筹码乘以极不确定的概率
>对
>这恰恰就是它重要的原因
>批评者说不确定性可能是结构性的,而不是数值性的
>把概率再调小
>批评者说不,我的意思是你的模型可能错了
>再把概率调小
>批评者开始揉太阳穴
>发现了AI安全
>完美的长期主义事业
>AI可能杀死所有人
>或者创造乌托邦
>或者夺取银河系
>或者用回形针铺满宇宙
>或者创造数十亿有意识的软件心智
>终于有一个数字大到配得上我的问题了
>创办AI安全非营利组织
>使命:阻止危险的AI
>雇最聪明的人
>最聪明的人立刻开始造更好的AI,好理解危险的AI
>有意思
>我们必须理解能力才能理解安全
>我们必须扩展模型来研究对齐
>我们必须抢在前面,免得那些更不负责的人先到达
>我们必须部署系统,才能了解部署会怎么出错
>我们必须快点把东西造出来,因为快点把东西造出来很危险
>外人问为什么最担心AI末日的人都在AI公司上班
>这领域很复杂
>公司发布更强的模型
>非常担忧
>公司开始训