动态

解释Hermes上下文压缩机制及配置

Teknium 🪽
Hermes Wingtips #2

🗜️ 图标:上下文压缩保留什么、舍弃什么

这个小表情是压缩次数:Hermes 自动摘要会话以保持在上下文限制内的次数,该限制在约 50% 满时触发。

发生压缩时,它会保留你的前 3 轮和后 20 轮,并对中间的所有内容进行摘要。长会话中间的一个细节可能会丢失,导致代理重复已做过的工作,即使初始目标和最近的轮次完好无损。

~~~
当出现问题时的三个调节杠杆,全部在 config.yaml 中,可在运行中的网关上热重载:

- protect_last_n 保留更多最近轮次不压缩
- auxiliary.compression.model 将摘要器指向廉价的快速模型,以免消耗主模型 tokens
- model.context_length 提高上限,使其更晚触发。

https://t.co/YeW1qVO424
动态Teknium 🪽2026-06-20原文

相关内容