forge

为自托管LLM提供可靠性层的Python框架，专注于工具调用和多步骤agent工作流。通过防护栏（重试、步骤强制）和上下文管理（VRAM感知预算、层级压缩），显著提升本地小模型（如8B参数）在复杂任务中的表现。亮点：组合多种可靠机制，即使用作代理服务器也能透明增强现有工具（如opencode、Continue）的LLM调用质量，且附有26场景评测数据证明效果。

打开互动版