关于AI产品开发的10条关键见解,强调用户反馈与数据准备。
我从@chipro那里学到的最重要的一点:
1. 提升AI产品最大的改进来自与用户交流并理解他们的反馈,而不是采用最新的模型或紧追AI新闻。很多公司浪费时间争论使用哪种技术,而真正的胜利来自更好的用户体验和数据准备。
2. 大多数AI产品问题并非AI问题。当公司认为存在AI性能问题时,通常是用户体验问题、组织沟通差距或数据质量问题。一家公司认为其AI潜在客户评分系统出了问题,但真正的原因是营销团队没有提出正确的问题来获取有用数据。
3. 数据准备方式比选择哪个数据库更重要。公司在组织信息时——将内容拆分成合适大小的块、添加摘要、将内容转换为问答格式——比纠结使用哪种技术基础设施更能带来AI性能的提升。
4. 表现最好的人从AI工具中受益最大。在一项对照实验中,表现最好的工程师从AI编码助手中获得了最大的生产力提升,而不是表现最差的。已经知道如何解决问题的资深工程师利用AI工作得更快,而低绩效者常常只是复制粘贴他们不懂的代码。
5. 微调应该是最后的手段。在投入微调模型之前,先尝试更简单的解决方案:改进提示词、添加基本的后处理脚本或修复数据管道。一家公司仅用一个简单的脚本就捕获了模型90%的错误。微调会带来持续的维护难题,只有在其他方法都用尽时才应使用。
6. 你不必完美才能赢。许多成功的公司在实施AI系统时选择“足够好”而不是完美。他们会计算投入两名工程师将准确率从80%提高到85%,与用同样的工程师推出全新功能相比,哪个更划算。通常,新功能提供更多价值。
7. AI生产力几乎无法衡量。公司大量投资于AI编码工具,但无法明确证明其效果。当被迫在团队昂贵的AI订阅和额外招聘一人之间选择时,许多经理会选择招聘一个人,不一定是因为AI没有帮助,而是因为人头数感觉更实在。
8. 系统思维比编码更重要。随着AI自动化更多的编码任务,理解不同组件如何协同工作的能力成为最有价值的技能。斯坦福计算机科学课程负责人表示,编码只是工具——真正的技能是理解系统如何工作,并设计逐步解决问题的方案。
9. 我们用于训练的互联网文本快耗尽了。世界上的公开文本数据几乎已被用于训练AI模型。这意味着未来的改进将更少地依赖喂给模型更多数据,而是更多地依赖更好的训练技术、人类反馈以及寻找新的数据源(如音频和视频)。
10. 尽管有强大的工具,许多人不知道要构建什么。即使有能构建几乎任何东西的AI工具,许多员工仍面临“创意危机”——他们根本不知道要创造什么。最佳方法:花一周时间注意日常工作中哪些地方让你感到沮丧,然后构建小工具来解决这些具体的痛点。
1. 提升AI产品最大的改进来自与用户交流并理解他们的反馈,而不是采用最新的模型或紧追AI新闻。很多公司浪费时间争论使用哪种技术,而真正的胜利来自更好的用户体验和数据准备。
2. 大多数AI产品问题并非AI问题。当公司认为存在AI性能问题时,通常是用户体验问题、组织沟通差距或数据质量问题。一家公司认为其AI潜在客户评分系统出了问题,但真正的原因是营销团队没有提出正确的问题来获取有用数据。
3. 数据准备方式比选择哪个数据库更重要。公司在组织信息时——将内容拆分成合适大小的块、添加摘要、将内容转换为问答格式——比纠结使用哪种技术基础设施更能带来AI性能的提升。
4. 表现最好的人从AI工具中受益最大。在一项对照实验中,表现最好的工程师从AI编码助手中获得了最大的生产力提升,而不是表现最差的。已经知道如何解决问题的资深工程师利用AI工作得更快,而低绩效者常常只是复制粘贴他们不懂的代码。
5. 微调应该是最后的手段。在投入微调模型之前,先尝试更简单的解决方案:改进提示词、添加基本的后处理脚本或修复数据管道。一家公司仅用一个简单的脚本就捕获了模型90%的错误。微调会带来持续的维护难题,只有在其他方法都用尽时才应使用。
6. 你不必完美才能赢。许多成功的公司在实施AI系统时选择“足够好”而不是完美。他们会计算投入两名工程师将准确率从80%提高到85%,与用同样的工程师推出全新功能相比,哪个更划算。通常,新功能提供更多价值。
7. AI生产力几乎无法衡量。公司大量投资于AI编码工具,但无法明确证明其效果。当被迫在团队昂贵的AI订阅和额外招聘一人之间选择时,许多经理会选择招聘一个人,不一定是因为AI没有帮助,而是因为人头数感觉更实在。
8. 系统思维比编码更重要。随着AI自动化更多的编码任务,理解不同组件如何协同工作的能力成为最有价值的技能。斯坦福计算机科学课程负责人表示,编码只是工具——真正的技能是理解系统如何工作,并设计逐步解决问题的方案。
9. 我们用于训练的互联网文本快耗尽了。世界上的公开文本数据几乎已被用于训练AI模型。这意味着未来的改进将更少地依赖喂给模型更多数据,而是更多地依赖更好的训练技术、人类反馈以及寻找新的数据源(如音频和视频)。
10. 尽管有强大的工具,许多人不知道要构建什么。即使有能构建几乎任何东西的AI工具,许多员工仍面临“创意危机”——他们根本不知道要创造什么。最佳方法:花一周时间注意日常工作中哪些地方让你感到沮丧,然后构建小工具来解决这些具体的痛点。
人们认为什么能改善AI产品 vs. 与@chipro交流后得出的实际有效方法
Chip Huyen是@Nvidia的Nemo平台核心开发者,前@Netflix AI研究员,并在@Stanford教授AI。她两次创业,是两本广受欢迎的AI著作的作者,https://t.co/HGJWJERU9t