Prompt Caching优化，降低成本延迟，关键技术原理

Prompt Caching 101：LLM token 便宜/快 10 倍

-- 是什么？--

- Prompt caching 是一种 LLM API 优化技术，能识别重复的提示前缀，复用特定的中间计算结果，而不是重新计算。这显著降低了重复发送相同或相似提示的应用的延迟和成本。
- 缓存的 token 不是完整的保存响应。相反，系统会为相同的提示前缀缓存来自 Transformer 注意力机制（例如 key-value 张量）的内部状态。当后续请求具有相同前缀时，使用缓存的中间状态。
- 由于推理中大部分工作是处理静态提示部分，复用注意力状态避免了重复这一昂贵计算。

-- 成本与性能 --

- 缓存输入 token 通常以远低于未缓存 token 的成本报告（例如，在 OpenAI 和 Anthropic 上便宜约 10 倍）。
- 在长或重复提示上使用提示缓存可以显著减少首个 token 的延迟，对于完全缓存的输入有时可达 80-85%。

-- 底层工作原理（技术）--

- 在 Transformer 推理的核心，每个 token 经历嵌入 -> 多头注意力 -> 前馈层的序列以生成下一个 token。这涉及为当前所有 token 构建和更新自注意力的键（K）和值（V）矩阵。
- Prompt caching 存储给定提示前缀的 K/V 注意力状态。在后续调用相同前缀时，模型无需从头重新计算这些 K/V 状态。
- 这种缓存通常基于精确前缀匹配。如果提示前缀稍有变化，缓存命中率会下降。将提示结构化为静态部分在前，可最大化缓存效果。

- 开发者和系统行为 --

- 托管 API（OpenAI、Anthropic）中的 Prompt caching 通常自动启用，开发者无需特殊代码更改。
- API 会返回诸如 cachedInputTokens 的指标，指示输入 token 中有多少来自缓存 vs 新计算，让用户衡量节省量。

-- 为何重要 --

- 没有缓存时，相同的大上下文（例如长系统消息、文档、多轮历史）每次都会被重新编码和计算，成本和延迟随上下文大小线性增加。Prompt caching 避免了这种开销。
- 对于跨多个请求具有稳定上下文的工作负载（聊天机器人、辅助工具、RAG 系统），prompt caching 能带来巨大的运营节省。