讨论ChatGPT和Claude Code的无状态设计
在 ChatGPT 刚出来还没有 API 的时候，我以为聊天会话是有状态的有记忆的，后来 API 出来才发现完全是无状态的，每次都要把历史记录叠加发过去，很反直觉。
包括现在 Claude Code 这样的 Agent，也需要依赖每次发送历史记录来维护状态，如果推理层有状态，是能减少很多 token 传输的。
包括现在 Claude Code 这样的 Agent，也需要依赖每次发送历史记录来维护状态，如果推理层有状态，是能减少很多 token 传输的。
说一个在前司的观察：搞应用的，天天手动拼 prompt、管理上下文，去提高prompt cache 命中率，都快卷的没招了，实际就是在模拟“状态”。这全赖底层的推理 API 还是最原始的 stateless 形态。
所以我有一个强烈的预感：
下个能掀起波澜的 AI 产品，会是一个深度结合推理和应用层的怪物，把状态管理、KV https://t.co/Jh1U5LQoIW