热门产品

Token Forecaster

Token Forecaster

面向使用 LLM 的开发者的开源预测工具,按本地历史估计回复长度与最坏耗时,让你在按回车前预判等待时间。

热门评论

PH 用户
我们从一个问题开始:在生成开始之前,能看出一条 LLM 回复会跑多久吗?

在一定范围内可以。在 4,146 次模型从未见过的调用里,90.6% 都落在我们的最坏情况线以内。Extended thinking 把尾部拉长了 2.5 倍。prompt 措辞的影响大约占 1%。真正的驱动因素是智能体循环会跑多久,而调用前没有任何可见信息知道这一点。一个能预知循环长度的 oracle 会把预测误差降低 63%。

Token Forecaster 就是我们根据这些发现做出来的。在你按下 Enter 前,它会显示通常长度和一个最坏情况。回复流式输出时,它会显示是正常、偏长还是特别长。它跑在终端状态行、macOS 菜单栏 app、本地 dashboard 和 Chrome 扩展里。

它只观察。从不改动请求,从不设置 max_tokens,也不能靠自己省 token 或省钱。它用来预留上下文空间、抓住跑飞的循环,以及判断一个任务值不值得拆分。

目前适用范围:基于 Claude Code 历史校准,Codex 数据接入还是实验性的。内置 profile 来自一位开发者的 16,687 次调用。守护进程会根据你自己的历史拟合一份个人 profile,并且只在它胜过内置 profile 时才替换。第二位用户在自己留出的调用上达到了 88.3% 的最坏情况覆盖率。一切都本地运行:历史只读取,不修改,不上传。目前还没有安装器。它可以在 macOS(Apple silicon)和 Windows 上从源码构建。

每个没过我们门槛的实验,都和通过的那些一起列在 README 里。告诉我们它在你的工作负载上哪里预测不准。

由 Sumcap Research 的 Eduardo Nunes 构建。
PH 用户
很酷的想法!你有没有了解过,在上下文和改动分散在多个文件里的更复杂编码任务上,这个预测表现如何?
热门产品Luis Pinto2026-09-25原文

相关内容