system prompt动态变量降低缓存命中率，建议使用会话内一致前缀
这有一块有一个反范式。如果你用户体量足够大的时候。system Prompt 全局前缀一致，因为缓存请求溢出的原因，反而会拉低 hit rate。要在开头加入{{SESSION_ID}}变为会话内一致反而会提升。或者openai 支持在 header 里面添加 session-id/user-id 也是一样的
今天组内小伙伴在内部agent平台的自定义prompt里增加了一个{{CURRENT_DATE}}的模板变量的功能，被我驳回了，发现其实挺多agent工程师并不知道context caching这个机制，举个例子，如果在一个sytem prompt里加了{{当前时间}}的动态变量，你会发现几次对话的cache hit会变成这样，极大增加成本 https://t.co/7RdXoAcXHT