动态

讨论token计价误区,比较模型tokenizer差异,主张按成功结果定价。

讨论token计价误区,比较模型tokenizer差异,主张按成功结果定价。
Tibo
关于token和每个token的价格。

我说过我会多写一些,所以这里就是:一个OpenAI的token不等于另一个模型的token。我们以每百万token几美元来比较AI价格,好像token是一个标准化单位,比如克或千瓦时。但它不是。不同的模型使用和产生完全相同的文本时,所用的token数量不同,这意味着更低的每token价格并不一定意味着更低的账单。

想象两个相同的披萨。一个切成8块,每块2美元。另一个切成16块,每块1.25美元。第二家宣传更便宜的切片,但整个披萨要20美元而不是16美元。糟糕……你的胃其实并不在乎你吃了多少片。

我知道你现在饿了,但回到token。在一个涵盖英语、技术、多语言和数字文本的小型比较中,我们用于GPT-5.6 Sol的tokenizer使用了766个token,而Claude Opus 5估计使用了1170个。这是一个非常显著的差异,大约少了34.5%的token。你可以得到完全相同的文本,但为所有这些额外的token付费。每个token的价格并不能真正说明这个问题。

即使纠正了tokenizer的差异,也忽略了更重要的点。真正重要的是每个成功结果的价格,为此你可以以基准为起点,但实际上你必须自己尝试并在自己的用例中测量。

就这样。愿token流动。
动态Tibo2026-08-16原文

相关内容