转推:批评AI安全末日论调靠臆造概率堆砌,缺乏严谨

RT @lennypruss:听了播客里一位来自 Redwood Research、与 EA(有效利他主义)圈子沾边的 AI 安全专家的发言,你会得出两个显而易见的认识。

1. 当前关于 AI 如何掌控文明的主流理论……找不到更合适的词……就是荒谬。这些论点由几十个条件性假设拼凑而成,靠的是给谁也无法预知的未来状态随意编造出来的概率。只要改动其中一个变量,整张末日之网就土崩瓦解。

这并不是说 AI 无害。显然,如此强大的技术确实伴随真实风险。但如果我们打算接受关于人类灭绝的非凡主张(并据此做出重大政策决定),我们就该要求非凡的严谨。

2. 这也很好地提醒我们:天才并不比平庸之辈更不易陷入妄想。要说区别,他们可能更容易,因为他们擅长把自己的结论合理化。

而这正是整场辩论最诡异的地方。一些荒诞不经、近乎宗教式的说法,却以一副理所当然的口吻抛出;而不知怎的,发言者给人的聪明印象,竟被当成了论点本身站得住脚的证据。到了某个程度,这跟汤姆·克鲁斯在你耳边喋喋不休地讲“thetan”实在没什么两样……