实测 Jev compaction 的工具调用评分不敌生产 compaction,eval 默认已切回生产路径

好,大家都希望我们给出不带偏见的事实。

Jev compaction 在这里有很多问题。最大的问题是:

- 当我在我们公开的 compaction eval 上运行它时(你也可以跑),它得到的结果其实是一条程序化规则,你根本不需要任何 Jev 或其他模型——它只是把所有工具调用从聊天历史里删掉
- 这意味着首先你可以免费做到,但其次,这意味着你会陷入一个恶性循环。
每次 compaction,聊天历史里可供删除的工具调用越来越少,意味着它能压缩的 token 越来越少,直到没有压缩空间,撞上硬性上限,再也无法压缩。
- 而且,如果你这样循环,每次 compaction 都会让你的缓存失效,于是你要为 input token 付 10 倍的价格,而每轮保留更多 input token,也意味着 compaction 之后的基础成本更高。

下面是完整的、可复现的 eval,你可以在 Hermes Agent 上对比两者(Hermes 版 vs Jev 版):

https://t.co/0vJV5u10Cn