OpenAI 成员 csvoss 回顾从 GPT-2 到 ChatGPT 的七年,宣布离职组建家庭
RT @csvoss:2019 年我加入 OpenAI 时,世界只知道 GPT-2:一个全新的 Transformer 模型,能生成出奇连贯、虽事实有误却诗意梦幻的文本。以我当时的视角——大学课余时间我曾折腾过训练马尔可夫链和 Karpathy 2015 年的 char-rnn 模型——我立刻意识到,GPT-2 一旦规模化,必将掀起一场革命。
我设想过人类会汲取文本中的智能,去自动化机械工程中的 CAD,去编写网站、代码和数学证明,去设计新的蛋白质,并理解与分析人类基因组。我至今记得第一次看到 GPT-3 输出一个语法正确的 Python 函数时有多震惊。如今看来,这多么简单!
此后的七年如同一场旋风,这段冒险是我一生的荣幸。我永远不会忘记从所有同事身上学到的一切:从 GPT-3 API 的发布到 CLIP 中多模态神经元的发现;从 DALL·E 1 论文到 DALL·E 2 产品上线;从 Codex Challenge(2021 年庆祝我们首个 "Codex" 模型发布而举办的现场编程比赛)到 2026 年的 Codex 本身;2022 年向 Bill Gates 演示 GPT-4,并为 2023 年发布落地考试评测;ChatGPT 的发布;还有太多太多。能在这艘火箭上占据头排座位,把一个神谕送到十亿人的口袋里,是莫大的荣幸。
能与 OpenAI 的每个人共事是我的荣幸,我为我们取得的成就深感自豪:极大地赋能世界各地的人们获取知识、扩展自身能动性。
如今我当年梦想的工具已经存在,是时候从工作中退后一步,专注于人生的另一场冒险:与 @MartinShkreli 组建家庭。我们有一个刚满 1 岁的儿子要抚养,女儿也将在今年二月降生,Martin 和我无比激动地开启这一新篇章。
我要感谢所有相信我的人——@gdb、@sama 以及其他各位——感谢你们给我机会参与这趟狂野之旅。这些年起伏跌宕,OpenAI 始终支持着我,能有所贡献是一份巨大的馈赠。
旅程尚未结束,我期待看到未来几年大家创造的一切——致未来!
我设想过人类会汲取文本中的智能,去自动化机械工程中的 CAD,去编写网站、代码和数学证明,去设计新的蛋白质,并理解与分析人类基因组。我至今记得第一次看到 GPT-3 输出一个语法正确的 Python 函数时有多震惊。如今看来,这多么简单!
此后的七年如同一场旋风,这段冒险是我一生的荣幸。我永远不会忘记从所有同事身上学到的一切:从 GPT-3 API 的发布到 CLIP 中多模态神经元的发现;从 DALL·E 1 论文到 DALL·E 2 产品上线;从 Codex Challenge(2021 年庆祝我们首个 "Codex" 模型发布而举办的现场编程比赛)到 2026 年的 Codex 本身;2022 年向 Bill Gates 演示 GPT-4,并为 2023 年发布落地考试评测;ChatGPT 的发布;还有太多太多。能在这艘火箭上占据头排座位,把一个神谕送到十亿人的口袋里,是莫大的荣幸。
能与 OpenAI 的每个人共事是我的荣幸,我为我们取得的成就深感自豪:极大地赋能世界各地的人们获取知识、扩展自身能动性。
如今我当年梦想的工具已经存在,是时候从工作中退后一步,专注于人生的另一场冒险:与 @MartinShkreli 组建家庭。我们有一个刚满 1 岁的儿子要抚养,女儿也将在今年二月降生,Martin 和我无比激动地开启这一新篇章。
我要感谢所有相信我的人——@gdb、@sama 以及其他各位——感谢你们给我机会参与这趟狂野之旅。这些年起伏跌宕,OpenAI 始终支持着我,能有所贡献是一份巨大的馈赠。
旅程尚未结束,我期待看到未来几年大家创造的一切——致未来!