Anthropic 2021年内部路线图曝光:已规划 Claude Code 与工具调用
Anthropic 五年前的内部路线图就写明 Claude Code、工具调用与模型自我评判,今天的能力来自长期预设而非临时跟进。
一份 2021 年 7 月的 Anthropic 内部研究路线图因版权官司意外曝光,当时公司刚从 OpenAI 独立、全公司只有十几人。文件里已写明要训练万亿参数级模型、探索超长上下文、做工具调用和让模型评判自己的输出,还提前讨论了 Agent 在宿主环境中运行代码时的沙箱边界问题。
正文摘录
最近因为一起版权官司,Anthropic 一份 2021 年 7 月的内部研究路线图,意外曝光。 今天的 Claude Code、工具调用(Tool Use)、AI 自我评判(Self-Judging)、测试时计算(Test-time compute)、甚至上万亿参数与超长上下文…… 五年前,在这家公司刚刚从 OpenAI 独立出来几个月、全员只有十几个人的时候,就已经被白纸黑字写得清清楚楚。 很多人以为,大模型从聊天机器人走向写代码、操作系统的 Agent,是这两年技术成熟后大家顺水推舟搞出来的。 在 2021 年这份路线图的最开头,Anthropic 给自己的终极目标(Safe, beneficial AGI)立了一个非常清晰的原型定位: 在当时 GPT-3 刚火不久、大家还在惊叹 AI 能写藏头诗的时候,Anthropic 就直接跳过了简单的代码自动补全逻辑,瞄准了完整的软件工程代理。 研究员 Andy Jones 在批注里抛出一个核心分歧:我们到底该先做真正好用的编程助手,还是先去证明工具调用的可行性? GPT-3 论文一作 Tom Brown 也参与了这场讨论,建议从代码 Repo Browsing 入手。 现在回头看 Claude Code 的演化过程,完全是在照着 Dario 当年的这句话一步一步走。 比如在预训练部分,2021 年的他们就白纸黑字写下要训练 1T(1 万亿参数)及以上的超大模型,并且探索超长上下文(Very large contexts),或者其他能容纳海量记忆与经验的机制。 2021 年,他们就已经在研究,怎么让模型评估自己的行为和输出质量,怎么把模型自己的判断作为反馈信号。这正是今天 AI Feedback 以及推理模型自我纠错的核心思想。 当然,当时这项研究被放在对齐和判别器研究的语境中,距离后来 o1 式的推理计算扩展还有相当距离。