动态

LLM开发需跨越三个鸿沟:理解、指定、泛化

Shreya Shankar
这个三鸿沟思维模型来自我最近提交的一篇论文,我还没有发布过。稍后会发布,但这里我想反思一下三鸿沟模型,以及将HCI-AI理念转化为实践以产生影响的愉悦感。

LLM应用开发人员觉得工作富有挑战性的原因之一是,他们必须一直戴不同的帽子——戴上数据科学的帽子来**理解**数据;戴上产品经理和沟通的帽子来**指定**好的提示;戴上工程帽子来**泛化**提示到生产数据(例如,使用更强大的模型、自动化提示工程以找到好的少量示例、微调或RLHF、分解为多个更小的任务等)。

人们常把指定问题误认为是泛化问题(或反之),或者试图应对两个鸿沟而忽略第三个。要构建真正有效的产品,你必须跨越所有鸿沟,并且为几乎任何应用重新搭建桥梁。你还必须识别,当你的过程陷入低谷时,你处于哪个鸿沟——这样你就能戴上正确的帽子并解除阻塞。

三鸿沟模型与Hamel和Eugene产生了强烈共鸣——他们是帮助数百个团队交付强大LLM应用的专家。我们将在我们的评估书中展示它,我认为未来一年里,它会逐渐成为LLM应用开发人员非常有用的思维模型。
Hamel Husain
LLM流水线开发的三个鸿沟是创建AI评估时要牢记的强大思维模型。

@eugeneyan, @sh_reya 和我在这里讨论(回复中有更多资源链接)
动态Shreya Shankar2025-05-16原文

相关内容