Ilya Sutskever：预测下一个 token 就足以让模型理解世界
Ilya Sutskever 解释为什么"预测下一个词"能逼出真正的世界理解，以及幻觉为何可能被彻底解决——对判断大模型能力边界的人值得一听。
嘉宾Ilya Sutskever
节目简介
Craig Smith 与 Ilya Sutskever 对谈。Ilya 是 Safe Superintelligence 联合创始人、OpenAI 前首席科学家，GPT-3、GPT-4 背后的核心人物之一。他的核心论点是：说 LLM（大语言模型）"只是在学统计规律"是搞错了重点——要把文本预测准、真正做到压缩，模型必须内化生成这些文本的真实过程，而这种理解会达到"惊人的程度"。他还谈到幻觉问题为何大概率能被解决、Transformer 出现的当天他就换掉了 RNN，以及 AI 可能让公民用高带宽交互直接表达价值偏好，形成比投票更细粒度的政治参与。