缓存限制AI性能,移除无用调用可提升但受推理成本制约。
没人谈论这个,但缓存实际上拖累了我们。如果你能移除无用的工具调用或动态更改历史树,性能提升空间很大,但目前这一切都受限于推理成本。
@p3ery @chrisbanes @opencode 我们可能很快会做出这个改变。很遗憾,因为我们的数据实际上显示对成本影响很小。对许多人来说,成本实际上下降了,性能提升了,因为上下文使用量保持很小。但对此存在奇怪的认知,所以我们别无选择。
@p3ery @chrisbanes @opencode 我们可能很快会做出这个改变。很遗憾,因为我们的数据实际上显示对成本影响很小。对许多人来说,成本实际上下降了,性能提升了,因为上下文使用量保持很小。但对此存在奇怪的认知,所以我们别无选择。