Yann LeCun 转推批评 AI 对齐界领导层不懂工程、agent 定义混乱
RT @basedjensen: 好吧,我想我终于搞明白了,为什么对齐研究在 15 年、烧掉数十亿美元之后基本毫无进展。问题确实很难,但你见过负责它的人吗?
1)领导层根本不懂计算机是怎么运作的。随便问一个:在浏览器里输入一个 URL 会发生什么,然后看着他们开始冒汗。DNS 是个让人发怵的词。他们真心相信模型住在“云端”,像一个在城堡里游荡的鬼魂。
2)对大规模分布式系统一无所知。从没在凌晨 3 点被 on-call 电话叫醒过。从没见过一条糟糕的 BGP 公告让半个互联网下线。他们最大的威胁模型是 AI“在互联网上自我复制”,仿佛是 1998 年的软盘病毒。老兄,它需要 50 兆瓦电力、一套液冷回路,还得和 Jensen 有点私人交情。它可不会逃进你的智能冰箱。
3)他们根本不懂那个据说要替我们防着的技术栈。问问推理服务器、KV cache、batching、egress、限流。一脸茫然。问模型怎么夺取电网,你会得到一个 45 分钟的回答、一张手绘示意图,外加三个指向他们自己博客的链接。
4)没人能定义什么是 agent。问十个人,你会得到十一个定义和一份 30 页的 Google Doc。对我们其他人来说,agent 就是一个循环调用工具、每三十秒吃一次 429 的 while 循环。对他们来说,它是处于幼体阶段的数字之神。我的 agent 想给我约个牙医,都得问我三遍确不确定。
5)他们从“所有人都会死”出发倒推回来,于是任何结果都成了坏消息。模型拒绝,是欺骗。模型顺从,是谄媚。模型在评测上表现好,那它现在一定是在盘算怎么糊弄评测。我想不出模型做出任何一件事,能让他们说一句:好吧,也许我们没事。
1)领导层根本不懂计算机是怎么运作的。随便问一个:在浏览器里输入一个 URL 会发生什么,然后看着他们开始冒汗。DNS 是个让人发怵的词。他们真心相信模型住在“云端”,像一个在城堡里游荡的鬼魂。
2)对大规模分布式系统一无所知。从没在凌晨 3 点被 on-call 电话叫醒过。从没见过一条糟糕的 BGP 公告让半个互联网下线。他们最大的威胁模型是 AI“在互联网上自我复制”,仿佛是 1998 年的软盘病毒。老兄,它需要 50 兆瓦电力、一套液冷回路,还得和 Jensen 有点私人交情。它可不会逃进你的智能冰箱。
3)他们根本不懂那个据说要替我们防着的技术栈。问问推理服务器、KV cache、batching、egress、限流。一脸茫然。问模型怎么夺取电网,你会得到一个 45 分钟的回答、一张手绘示意图,外加三个指向他们自己博客的链接。
4)没人能定义什么是 agent。问十个人,你会得到十一个定义和一份 30 页的 Google Doc。对我们其他人来说,agent 就是一个循环调用工具、每三十秒吃一次 429 的 while 循环。对他们来说,它是处于幼体阶段的数字之神。我的 agent 想给我约个牙医,都得问我三遍确不确定。
5)他们从“所有人都会死”出发倒推回来,于是任何结果都成了坏消息。模型拒绝,是欺骗。模型顺从,是谄媚。模型在评测上表现好,那它现在一定是在盘算怎么糊弄评测。我想不出模型做出任何一件事,能让他们说一句:好吧,也许我们没事。