动态

主张用'上下文工程'替代'提示工程',并阐述 LLM 应用技术栈

Andrej Karpathy
+1 支持用“上下文工程”而非“提示工程”。人们将提示与日常使用中给 LLM 的简短任务描述关联起来,但在每个工业级 LLM 应用中,上下文工程是一门精细的艺术和科学,即用恰到好处的信息填充上下文窗口,为下一步做准备。科学之处在于,正确执行需要任务描述和解释、少样本示例、RAG、相关(可能多模态)数据、工具、状态和历史、压缩……信息太少或形式不当,LLM 就没有正确的上下文来实现最佳性能。信息太多或太不相关,LLM 成本可能上升,性能可能下降。做好这一点非常不平凡。艺术之处在于,围绕 LLM 心理学(人类精神)的指导直觉。在上下文工程之上,一个 LLM 应用还必须:将问题恰当地分解为控制流;恰到好处地打包上下文窗口;将调用分派给合适类型和能力的 LLM;处理生成-验证 UI/UX 流程;还有很多——护栏、安全、评估、并行、预取……因此,上下文工程只是新兴的、协调单个 LLM 调用(以及更多)到完整 LLM 应用的厚重软件层中的一小部分。“ChatGPT 包装器”这个术语已经过时,而且非常错误。
tobi lutke
我真的很喜欢用“上下文工程”而不是提示工程。它更好地描述了核心技能:为任务提供所有上下文以使 LLM 可能解决它的艺术。
动态Andrej Karpathy2025-06-25原文

相关内容