StateM: 通过 Harness Scaling 在 Terminal-Bench 2.1 上达到 95.3% 原始准确率,或 15 美元前沿运行

TL;DR StateM 是一个 agent-native 运行时，通过**持久化状态**、**可恢复 runbook** 和**强制性程序控制**增强长程 agent 执行，不改模型权重就在 Terminal-Bench 2.1 达到 95.3% 原始准确率，并将前沿运行成本降至约 15 美元。

问题

问题背景

当前 AI agent 研究大量聚焦于模型能力提升：更强推理、更长上下文、工具调用。但在长周期任务（如 Terminal-Bench 2.1 中的多步终端操作）中，即使底层模型能解出每一步，运行时执行系统仍成为瓶颈。与直接微调模型权重的路线不同，StateM 关注 harness scaling，把执行系统本身作为优化对象。

现有方法局限

主流做法分两类：

• 改模型权重 / 微调：成本高、泛化弱，且未触及 harness 层，状态管理问题依旧。
• 提示词工程 / 记忆增强：仅扩充上下文，缺乏对 可变状态 的显式跟踪、阶段局部上下文、检查点转换 和 可恢复 runbook 支持。

作者指出：agent 会丢失可变状态、无法复用先前执行教训、跳过已知流程或过早停止。

为什么困难 / 重要

长周期任务的失败具有 组合爆炸性：状态空间大、错误累积、上下文窗口有限。跨任务迁移要求执行结构可复用，而现有方法往往把每次失败当作孤立 prompt 修补。业界关注 Terminal-Bench 类基准饱和，因为单纯 scale 模型已接近收益递减，harness scaling 成为更便宜的提升路径。

行业类比

类似自动驾驶中“车端模型很好但缺乏可靠的车控与状态机”：模型决定做什么，runtime 负责可靠地做到。

核心洞察

• - Harness scaling 指在不改变模型权重的前提下，通过优化 agent 执行运行时（状态管理、上下文组织、检查点转换、可恢复 runbook）来提升长程任务性能。传统做法聚焦于提升模型能力或设计更精巧的提示，但 StateM 证明大量失败源于执行系统而非模型本身——agent 丢失可变状态、无法复用先前经验、跳过已知流程。通过将 postmortem 发现固化为可执行 precondition 和 practices，StateM 在 Terminal-Bench 2.1 上将 GPT-5.6 Sol xhigh 从参考 91.9% 提升至 95.3%，并实现所有 89 个任务至少一次成功。与单纯依赖 scale 模型不同，该方法可迁移到不同模型（GPT-5.6 到 DeepSeek-V4 Flash 仅需 <38 美元适配），为 agent 工程开辟了独立于模型权重的优化维度。
• - StateM 将 agent 执行经验编码为版本化、可检查的 runbook 和 golden rules，这些程序化实践可在不同模型间近乎零成本迁移。区别于大多数 agent 框架将知识内嵌于模型参数或特定提示模板中，StateM 的 runbook 是执行层面的显式产物，可被 agent 和用户共同审查。在实验中，为 GPT-5.5 构建的 runbook 无需修改直接迁移到 GPT-5.6，同样有效；对 DeepSeek-V4 Flash 的适配只需不到 38 美元，即将其从 82.7 提升至 88.1%，超过 GPT-5.6 Sol xhigh 参考的 84.9%。这说明任务执行结构的知识可以与模型解耦，形成可复用资产，对于需要快速切换底层 LLM 的工程团队极具价值。
• - StateM 通过 harness scaling 实现用低成本模型达到或超越高成本前沿模型的效果，显著降低每次运行的 API 支出。在相同 runtime、runbook 结构和 golden rules 下，DeepSeek-V4 Flash 的最终分数 API 使用约 15 美元，而 GPT 参考为 574.68 美元；总 DeepSeek 支出 52.22 美元，却能达到与 GPT-5.6 Sol max 报告的 88.8% 相当的结果。这一对比揭示在长程 agent 任务中，执行系统的效率优化对总体成本和性能的影响可能大于模型本身的原始能力。对于预算敏感但追求高精度的场景，选择 harness 优化方案比单纯升级模型更经济。

方法

方法：StateM 运行时

StateM 是一种 agent-native runtime，在不修改模型权重的前提下，通过扩展执行系统来提升长程 agent 的任务成功率。

输入：终端任务定义、模型输出的动作序列、任务执行轨迹。

关键模块：

• Durable states：持久化可变状态，跨交互保存关键信息，避免 agent 丢失对当前环境的跟踪。
• Phase-local context：按执行阶段裁剪上下文，只提供与当前阶段相关的信息，减轻长上下文的干扰。
• Checked transitions：在阶段切换处显式检查前置条件，未满足则阻止进入下一阶段或触发修正。
• Recoverable runbooks：将已知操作流程编码为可恢复的运行手册，agent 可随时参考、恢复或重放。
• Versioned procedural practices：把事后复盘得到的经验固化为可执行、带版本的程序化实践，用户与 agent 均可审查。

执行流程：任务进入 runtime 后，根据 runbook 划分阶段；每个阶段维护 durable state，在阶段间执行 checked transition；agent 输出被持续监控，若偏离 runbook 或触发前置条件失败，系统引导恢复或重试。学习闭环将 postmortem 发现转化为显式的可执行前置条件和实践，使隐性经验可复用、可强制执行。

输出：长期任务成功率的显著提升，以及可迁移的 runbook 和过程控制。

与同类方法差异：不同于模型微调或静态提示工程，StateM 在 harness 层面将过程知识显式化为状态化控制，把改进集中在执行系统而非模型参数。

实验

实验设计

StateM 在 Terminal-Bench 2.1 与 BusinessBench 上进行评估。Terminal-Bench 2.1 包含 89 个长时程终端任务，共 445 次试验；采用 StateM 运行时，不改变模型权重，比较不同模型（GPT-5.5 xhigh、GPT-5.6 Sol xhigh/Ultra、GPT-5.6 Luna、DeepSeek-V4 Flash）在 harness 加持前后的准确率。BusinessBench 沿用 family-specific runbook 从开发集构建，评估 held-out 泛化。

关键发现

• StateM 将 GPT-5.5 xhigh 从 83.1% 提升至 92.1%，超过 GPT-5.6 Sol Ultra 的 91.9%。
• 更高配置 GPT-5.6 Sol xhigh + StateM 达 95.3% 原始准确率，且 89 个任务均至少成功一次。
• frozen profile 可将 GPT-5.6 Luna 从 76.7% 提升至 85.4%，超过 Sol xhigh 参考 84.9%。
• 用相同 runbook 结构，DeepSeek-V4 Flash 从 82.7% 升至 88.1%（标准超时），在 88 任务核心上达 89.1%，仅需 ~$15 API 成本（基线 $574.68）。

与基线对比深度解读

StateM 的 harness scaling 路径显著优于单纯更换更强模型：在相近或更低成本下，通过可恢复 runbook、状态化控制与检查转移，稳定提升跨模型准确率。关键差异在于不依赖模型权重，runbook 可在异构模型间迁移（GPT-5.6 不变式），且冻结 profile 能泛化到更低成本模型（Luna 85.4% > Sol xhigh 84.9%）。这验证了执行系统工程比盲目堆模型参数更高效。BusinessBench 上机制匹配 family 提升达 10.04 点，说明可执行最佳实践在特定任务结构下可规模化复用。总体看，StateM 将事后分析转化为显式、可强制执行的前置条件，提供了一条低成本通往 frontier 性能的路径。

行业影响

落地场景

StateM 作为 agent 运行时层，适用于需要 长程、多步执行且状态易丢失 的场景。典型应用包括：

• 云平台自动化运维：多步骤服务器配置、故障排查、批量部署，runbook 确保步骤不遗漏，状态检查点支持断点续跑。
• 企业 RPA 与业务流程自动化：例如电商订单处理（库存校验、支付确认、物流编排），利用状态机管理检查点与恢复机制，避免重复操作。
• 数据管道与合规报表生成：金融领域多源数据提取、清洗、审计流程，版本化程序实践保证合规可追溯。

商业价值

• 降本显著：在 DeepSeek-V4 Flash 场景下，API 费用约 15 美元，对比 GPT 参考方案的 574.68 美元，成本降低一个数量级。
• 提效与增收：StateM 将 GPT-5.5 xhigh 准确率从 83.1% 提升至 92.1%，冻结 profile 下 Luna 从 76.7% 提升至 85.4%，大幅减少重试与人工介入，缩短业务交付周期。
• 体验提升：可恢复的 runbook 与状态控制使长任务失败后能从断点继续，而非从头执行，提升系统可靠性与用户信任。

与现有产品/工作流的接口

StateM 可作为独立 harness 层集成到现有 agent 框架（如 LangChain、AutoGen 或自研 loop）：

1. 将任务拆解为 durable states 和 phase-local context，通过状态存储与检查点机制对接现有 memory 系统。
2. 采用 recoverable runbooks 与 versioned procedural practices，可映射到现有工作流引擎（如 Temporal、Airflow）或 CI/CD 管道。
3. 不改模型权重，直接与底层 LLM 配合，通过配置文件与 golden rules 快速迁移 runbook，降低集成成本。

关键差异：StateM 不依赖微调或提示工程，而是 harness scaling —— 优化执行系统本身，因此复用性强、可审计、成本可控。

局限

• 验证范围局限于 **Terminal-Bench 2.1** 与 **BusinessBench**，任务类型偏向命令行操作与结构化业务流程。runbook 和 golden rules 的构建依赖专家对任务结构的归纳，迁移到全新任务族（如开放域网页交互、多模态长程任务）时可能需要重新设计，泛化能力尚未在 **SWE-bench**、**WebArena** 等更复杂、更贴近真实生产环境的 benchmark 上得到验证。
• 与同类 agent scaffolding 方法（如 **Reflexion**、**Voyager**、**AutoGPT**）缺少系统性对比，文中主要报告与 GPT 参考基线及不同模型配置的比较，未提供消融实验证明各组件（**durable states**、**phase-local context**、**checked transitions**、**recoverable runbooks**）的独立贡献；无法判断性能提升主要来自哪个机制，也难以排除对基准测试的过拟合。
• 方法在 API 调用成本上显著降低，但未讨论运行时的额外计算开销（如状态存储、检查点、检索索引维护）以及实现复杂度对系统部署的影响；此外，stateful controls 的可解释性和可审计性虽被强调，但缺少用户研究或定量评估来证明其对实际工程师的易用性与信任提升。