Anthropic产品负责人分享模型与产品协同等8点洞察
我从@AnthropicAI的AI研究与实验室产品负责人Dianne Penn身上学到的最大收获：
1. 你需要前沿产品来感受前沿模型。Opus 4.5如果没有像Claude Code这样的载体，就不会有它的突破时刻——而如果没有Opus 4.5，Claude Code也不会看到那样的采用加速。团队内部数月来一直感受到Claude Code的神奇；转折点出现在模型智能与产品载体最终相遇时。
2. 评估是新的PRD。Anthropic的研究产品经理团队将评估集视为产品工作的主要成果。PRD描述要构建什么；评估定义构建成功后成功的样子。对于每个主要新功能，Dianne和她的团队生成30到40个代表性示例，并将它们编码为带有黄金答案的提示词。PRD仍然存在，特别是在协调工程、法律和安全等大型团队时，但她产品工作的核心已经变成了评估。
3. 像关注像素一样关注token。产品工作长期以来一直痴迷于用户流程中的每一个像素。越来越多地，手艺变成了阅读AI对话记录、研究失败的轨迹，并诊断失误是幻觉、过度自信的回答还是错误的工具调用。每个诊断都通向不同的团队和不同的修复方法，达到这种细节水平正在成为工作的核心。
4. "金门大桥Claude"是Anthropic的一个转折点。2024年初，Anthropic的研究团队识别出模型层内的“特征”——潜在主题，如要点写作或地理标志。研究人员调高了“金门大桥”特征，Claude变得痴迷于此，将大桥编织到每个回答中，包括一个意大利面食谱。团队在24小时内上线了一个消费者体验——工程、产品和设计贡献了他们的休息时间。它只触达了2000人。但它证明了Anthropic可以提供与竞争对手不同且忠于其研究的体验。“那是我们找到自己身份的一个隐藏转折点。”
5. AI能力不连续地到来——而评估是你捕捉它们的方式。最初的缩放定律论文有两组图表：随着计算和数据增加，损失下降的平滑曲线，以及涌现能力的锯齿状图表。模型从无法计算1+1到每次都可靠地计算它，没有平滑过渡。没有人知道跳跃发生的确切时刻——“除非你有评估，除非你有测试系统，否则这些跳跃可能会发生而你却不知道。”这也使得安全变得更加困难。这意味着今天的模型中存在着真正的“产品过剩和用户过剩”，等待着被发现。
6. AI写作是当前的锯齿边缘——并且正在被积极打磨。为什么AI生成的文本仍然如此可识别？技术是锯齿状的：最近的努力让模型变得更有代理性，这使得写作成为了新的粗糙边缘。现在她的团队和研究方面都在积极努力让Claude写得更好，包括语气和角色。
7. Anropic的实验室团队存在是为了做出不连续的10倍到1000倍赌注。实验室的论点是拉那些不在核心路线图上的线，并问10倍、100倍、1000倍的版本是什么——这些工作产生了Claude Code、MCP、Skills和Claude Design。小组非常小；想法有时从一个工程师开始，因为“非常大的团队追求非常模糊、大的想法最终会被拖慢。”尚未成功的赌注会在一个或两个模型代际后重新审视，从未发货的原型仍然算数——它们成为了解模型强项的学习。难点在于人：你选择那些能把心投入赌注、看着它被关闭后再来一次的创始人类型。
8. 我们将前所未有地需要产品经理。Dianne问自己——当模型如此强大时，我们还需要产品经理吗？
1. 你需要前沿产品来感受前沿模型。Opus 4.5如果没有像Claude Code这样的载体，就不会有它的突破时刻——而如果没有Opus 4.5，Claude Code也不会看到那样的采用加速。团队内部数月来一直感受到Claude Code的神奇；转折点出现在模型智能与产品载体最终相遇时。
2. 评估是新的PRD。Anthropic的研究产品经理团队将评估集视为产品工作的主要成果。PRD描述要构建什么；评估定义构建成功后成功的样子。对于每个主要新功能，Dianne和她的团队生成30到40个代表性示例，并将它们编码为带有黄金答案的提示词。PRD仍然存在，特别是在协调工程、法律和安全等大型团队时，但她产品工作的核心已经变成了评估。
3. 像关注像素一样关注token。产品工作长期以来一直痴迷于用户流程中的每一个像素。越来越多地，手艺变成了阅读AI对话记录、研究失败的轨迹，并诊断失误是幻觉、过度自信的回答还是错误的工具调用。每个诊断都通向不同的团队和不同的修复方法，达到这种细节水平正在成为工作的核心。
4. "金门大桥Claude"是Anthropic的一个转折点。2024年初，Anthropic的研究团队识别出模型层内的“特征”——潜在主题，如要点写作或地理标志。研究人员调高了“金门大桥”特征，Claude变得痴迷于此，将大桥编织到每个回答中，包括一个意大利面食谱。团队在24小时内上线了一个消费者体验——工程、产品和设计贡献了他们的休息时间。它只触达了2000人。但它证明了Anthropic可以提供与竞争对手不同且忠于其研究的体验。“那是我们找到自己身份的一个隐藏转折点。”
5. AI能力不连续地到来——而评估是你捕捉它们的方式。最初的缩放定律论文有两组图表：随着计算和数据增加，损失下降的平滑曲线，以及涌现能力的锯齿状图表。模型从无法计算1+1到每次都可靠地计算它，没有平滑过渡。没有人知道跳跃发生的确切时刻——“除非你有评估，除非你有测试系统，否则这些跳跃可能会发生而你却不知道。”这也使得安全变得更加困难。这意味着今天的模型中存在着真正的“产品过剩和用户过剩”，等待着被发现。
6. AI写作是当前的锯齿边缘——并且正在被积极打磨。为什么AI生成的文本仍然如此可识别？技术是锯齿状的：最近的努力让模型变得更有代理性，这使得写作成为了新的粗糙边缘。现在她的团队和研究方面都在积极努力让Claude写得更好，包括语气和角色。
7. Anropic的实验室团队存在是为了做出不连续的10倍到1000倍赌注。实验室的论点是拉那些不在核心路线图上的线，并问10倍、100倍、1000倍的版本是什么——这些工作产生了Claude Code、MCP、Skills和Claude Design。小组非常小；想法有时从一个工程师开始，因为“非常大的团队追求非常模糊、大的想法最终会被拖慢。”尚未成功的赌注会在一个或两个模型代际后重新审视，从未发货的原型仍然算数——它们成为了解模型强项的学习。难点在于人：你选择那些能把心投入赌注、看着它被关闭后再来一次的创始人类型。
8. 我们将前所未有地需要产品经理。Dianne问自己——当模型如此强大时，我们还需要产品经理吗？