Tokenwise
Tokenwise 是一个智能 LLM 代理,帮助开发者和小团队监控并优化 LLM API 费用,通过实时分析请求发现超支并一键修复。
Maker 说
大家好,我是Theo。
我在全职数据工程工作之余做了几个小 SaaS,到某个时候每个都开始依赖 LLM。我的 API 账单每个月都在涨,老实说我从来说不清是为什么。是哪个功能、上周改了哪个 prompt、我随便选的哪个模型。我只是不断充值然后继续。
最让我头疼的是那些我甚至看不见的开销。Claude Code 整天在我工作时运行,还有 Cursor 和 Codex。这些在账单寄来之前根本看不到,结果发现这是我花钱花得最不明不白的地方。
我试过已有的工具。一个感觉像在维护模式,一个需要整个可观测性设置才能开始用,还有一个只在你基于特定框架搭建技术栈时才管用。没有一个是为像我这样只是想搞清楚钱花在哪、该怎么办的人设计的。
所以我做了 Tokenwise。你加一行代码,或者把你的编码智能体指向它而不需要改动生产环境,就能看到每次调用:成本、延迟、token,以及哪些是被浪费的。然后它会告诉你该砍掉什么。这里换更便宜的模型,那里加缓存,修剪臃肿的 prompt。每个修复方案都会先对照你自己的质量标准检验,所以你永远不会为了省钱而牺牲输出质量。
做这个产品的过程中,想法变了很多次。一开始我以为它是个仪表盘。后来我意识到没人想要另一个仪表盘,他们想要答案:这就是你每月烧掉的 842 美元,这是只需一键就能修复的办法。真正的价值在于能实时在你的实际流量上验证节省了多少。
现在还很早期,我真诚希望能得到你们的反馈。告诉我缺了什么、哪里让人困惑、哪些你永远不会用。这比什么都更有用。
感谢你的关注。
我还想看到一点:具体到编码智能体,花费往往是突发性的、按会话计算的。一次 2 小时的 Claude Code 会话轻松花掉 5 到 10 美元,但你不知道会话的 *哪一部分* 消耗了 token。是最初的代码库导入?还是测试-修复的长时间循环?将会话按子任务分解,远比仅仅显示“会话-xyz 花费 8.40 美元”更有可操作性。
在切换模型之前,Tokenwise 能否精确显示会影响到哪些流量?是否有简便的回滚方式?