建议将变量放在最后一条用户消息以利用缓存
这种必须驳回啊，这还是我2024年的傻样，在system prompt 里加变量
-
记住，变量放到最后一条user message
-
记住，变量放到最后一条user message
今天组内小伙伴在内部agent平台的自定义prompt里增加了一个{{CURRENT_DATE}}的模板变量的功能，被我驳回了，发现其实挺多agent工程师并不知道context caching这个机制，举个例子，如果在一个sytem prompt里加了{{当前时间}}的动态变量，你会发现几次对话的cache hit会变成这样，极大增加成本 https://t.co/7RdXoAcXHT