Lenny 请 evals 专家写进阶指南，讲如何发现并修复产品中隐藏的 AI 故障。
在我与播客嘉宾和 PM 朋友的对话中，evals 越来越频繁地被提及。
上周我分享的 25 个很棒的 PM 职位空缺中，近一半都要求有编写 evals 的经验。领先公司也在不断分享投资 evals 带来的回报：
— @tryramp 将其自动收据收集的准确率从 35% 提升到 83%。
— @Shopify 上线了一个 AI 工作流构建器，比它所取代的前沿模型方案快 2.2 倍，成本低 68%。
— @harvey__ai 重建了其 AI 合同审查器，内部质量评分几乎翻倍。
— @cursor_ai 调优了其 Auto Balance 路由，在成本降低 41% 的情况下实现了高得多的用户满意度。
于是，我请 evals 领域的 🐐（GOAT，史上最强）@HamelHusain 和 @sh_reya，为他们非常受欢迎的《Building eval systems that improve your AI product》写一篇进阶续作。基于他们与 50 多家 AI 公司的合作经验，他们分享了大多数团队会跳过的关键步骤、哪些该自动化（哪些不该），以及一个免费插件，让编码 agent 承担大部分繁重工作。
在这里阅读：https://t.co/fxOI7PMgWF
上周我分享的 25 个很棒的 PM 职位空缺中，近一半都要求有编写 evals 的经验。领先公司也在不断分享投资 evals 带来的回报：
— @tryramp 将其自动收据收集的准确率从 35% 提升到 83%。
— @Shopify 上线了一个 AI 工作流构建器，比它所取代的前沿模型方案快 2.2 倍，成本低 68%。
— @harvey__ai 重建了其 AI 合同审查器，内部质量评分几乎翻倍。
— @cursor_ai 调优了其 Auto Balance 路由，在成本降低 41% 的情况下实现了高得多的用户满意度。
于是，我请 evals 领域的 🐐（GOAT，史上最强）@HamelHusain 和 @sh_reya，为他们非常受欢迎的《Building eval systems that improve your AI product》写一篇进阶续作。基于他们与 50 多家 AI 公司的合作经验，他们分享了大多数团队会跳过的关键步骤、哪些该自动化（哪些不该），以及一个免费插件，让编码 agent 承担大部分繁重工作。
在这里阅读：https://t.co/fxOI7PMgWF