DCAS: 解耦 CLI 智能体脚手架,将规划内化到脚手架之中

TL;DR DCAS 解耦 CLI 代理脚手架与规划，通过拦截层收集跨 scaffold 规划感知轨迹，使模型微调后摆脱对训练 scaffold 的强绑定，实现跨环境稳定泛化。

问题

问题背景

基于 CLI 的软件工程智能体（如 OpenHands、SWE-Agent）已快速成熟，但开放生态在训练数据上高度单一：用于微调模型的轨迹数据几乎全部在 OpenHands 这一种 scaffold 下收集。这导致模型在该 scaffold 上评测优秀，一旦切换 scaffold 性能便大幅下降，而未经微调的基座模型却无此分化，表明性能差距是微调引入的、与训练 scaffold 惯例深度绑定。

现有方法局限

当前方法的核心局限在于 scaffold-specific 的规划结构，论文将其分为两类：

• 显式规划：将预执行计划作为一级产物输出（例如生成结构化计划文件）
• 隐式规划：贯穿智能体循环的结构惯例（如消息格式、操作顺序、环境反馈处理）

微调模型通过学习特定 scaffold 的固定规划惯例来提升在该 scaffold 上的表现，但这导致模型在其他 scaffold 下行为失配。例如，在 OpenHands 中训练出的显式规划模块，在 SWE-Agent 的交互范式下可能完全失效。这种规划与 scaffold 的耦合限制了智能体的泛化性，也使得开放生态难以形成一个与 scaffold 无关的模型能力基准。

为什么这个问题难并且重要

技术挑战：

• 需要将规划从 scaffold 的固定产物转变为模型自身的可学习能力，但规划的具体形式在不同 scaffold 中差异极大，直接泛化困难。
• 缺乏统一的跨 scaffold 评测框架；现有轨迹收集流程与特定 scaffold 绑定，无法直接获取跨 scaffold 的、计划感知的训练数据。

业界关注度： 软件工程智能体正接近产品化临界点，若模型只能在训练 scaffold 中保持高效，则实际部署时必须锁定 scaffold 版本，极大削弱了工具链的灵活性和可维护性。构建 scaffold-agnostic 的智能体模型是降低迁移成本、促进生态繁荣的关键一步。

类似单一仿真环境训练的自动驾驶模型，当传感器布局或仿真器改变时规划策略急剧退化 —— 智能体需要的是与运行平台解耦的内部规划能力，而非记忆 scaffolds。

核心洞察

• **规划结构 (planning structure) 是 CLI 代理跨 scaffold 泛化的瓶颈。** 现有微调数据几乎全部在 OpenHands 下收集，导致模型学会了该 scaffold 特有的显式计划模板和隐式循环惯例，而非通用的软件工程推理。与单纯归咎于数据分布偏移的工作不同，本文通过对比基础模型与微调模型的表现，直接揭示退化由 scaffold 特定行为导致，而非任务难度本身，从而将问题从数据层面提升到认知架构层面。
• **DCAS 通过透明的 API 流量拦截实现了非侵入式跨 scaffold 评估与数据收集。** 不同于需要修改 scaffold 或重写代理逻辑的方案，DCAS 作为反向代理层在不改动现有脚手架的情况下路由请求，允许同一模型在多种 scaffold 下被公正比较，并采集带规划标签的轨迹。这为实际工程中快速验证模型泛化性、避免 scaffold 锁定提供了轻量基础设施，其设计思路对多环境代理评估具有广泛参考价值。

方法

方法概述

DCAS 是一个后端替代拦截层, 它在 CLI 脚手架 (scaffold) 与语言模型后端之间插入一个透明代理, 实现解耦。 核心目标是让规划 (planning) 从脚手架特定的产物转化为模型内部可迁移的能力, 消除微调带来的跨脚手架退化。

输入

• 不同 CLI 脚手架 (如 OpenHands, SWE-agent) 发出的原始 API 请求, 包含任务描述、文件系统快照、工具调用历史等上下文。
• 脚手架特有的对话模板、系统提示、工具定义以及隐式执行约定 (例如特定的 Observation / Thought 格式)。

关键模块

DCAS 内部包含三个紧密协作的组件:

1. 请求拦截与统一路由

   • 作为透明代理截获所有指向语言模型的 API 请求。
   • 解析脚手架特定的消息结构, 提取任务无关的隐式规划痕迹 (如循环中的固定角色标记), 并转换为统一的内部表示。
   • 将请求转发给任意后端模型, 再将模型响应重新包装成脚手架可理解的格式返回。

2. 规划注入与控制

   • 允许在请求层面对规划来源进行受控干预 (plan-source intervention): 可注入预定义的显式计划、强制模型自行生成计划、或完全剥离规划内容。
   • 通过这种方式, 实验性地分离显式规划 (pre-execution plan) 与隐式规划对代理性能的贡献, 验证规划质量是跨脚手架表现的高杠杆因素。

3. 规划感知轨迹收集

   • 在代理执行循环中, DCAS 记录完整的交互轨迹, 并自动标注显式规划片段 (如 <plan> 块) 和隐式规划结构 (如特定字段的执行惯例)。
   • 生成的轨迹数据不受单一脚手架格式污染, 因为 DCAS 已将其标准化为统一的内部表示, 从而可用于训练模型学习跨脚手架通用的规划能力。

输出

• 去脚手架偏差的模型响应, 支持在任意非训练脚手架下进行一致评估。
• 带有细粒度规划标注的轨迹数据集, 规模虽小但覆盖多种规划模式。
• 微调后的模型: 即使仅在一个脚手架下训练, 也能将规划能力迁移到未见过的脚手架, 性能增益超过原有的跨脚手架性能损失。

与同类方法的差异

传统做法直接使用单一脚手架收集轨迹进行微调, 导致模型对特定格式过拟合。 DCAS 通过中间层抽象将规划从脚手架固定产物中剥离, 使模型能够内化规划行为本身, 而非记忆外部约定, 从而赋予代理真正的跨脚手架泛化性。

实验

实验设计

利用 DCAS 的拦截层在不同 CLI scaffold 间透明路由 API 流量，使同一后端模型可在不同 scaffold 下评估，无需修改 scaffold 代码。设计受控的 plan-source 干预实验：在同一 scaffold 内，通过切换 planner 来源（如使用人类编写计划、模型生成计划或无计划）来量化 planning 质量的影响。微调阶段仅使用在 单一 scaffold 下由 DCAS 收集的少量 planning-aware 轨迹。

关键发现

• planning quality 是高杠杆组件：提供高质量计划带来的性能增益，超过了模型在不同 scaffold 间迁移时平均的性能下降幅度。
• 跨 scaffold 泛化能力：用 DCAS 轨迹微调的模型，在非训练 scaffold 上性能保持稳定，不再出现仅在 OpenHands 数据上微调模型那种显著退化。
• 两种 planning 信号可分离：训练数据中 explicit planning（执行前输出计划）与 implicit planning（循环中的结构约定）可被独立学习，并产生叠加增益。

与基线对比

基线为在 OpenHands 单一 scaffold 下收集的轨迹数据上微调的 CLI agent 模型。当该模型在其他 scaffold（如非训练环境）下部署时，成功率大幅下降，而未经微调的基座模型不存在这种分歧，表明退化是由微调引入的。DCAS 方法通过将 planning 从 scaffold 中解耦并内化为模型能力，使智能体不再依赖特定训练 scaffold 的规划结构，从而在跨 scaffold 评估中恢复甚至超越单一 scaffold 下的性能。

行业影响

落地场景

DCAS 所解决的 脚手架耦合 问题直接指向企业级开发工具与自动化软件工程平台。主要场景包括：

• 智能代码助手：如 GitHub Copilot、Codium、JetBrains AI 等，需要跨不同 IDE 或 CLI 环境保持一致的规划与生成能力。
• CI/CD 流水线中的自主 Agent：自动修复 Bug、重构代码、生成测试的 Agent 通常运行在异构的临时环境中（如不同构建系统、容器化脚手架），DCAS 可避免因环境切换导致的性能跳水。
• 多框架测试与部署平台：面向微服务或 Monorepo，Agent 需在不同项目、不同 CLI 工具下执行命令，对环境变化的鲁棒性至关重要。

商业价值

• 降低适配与维护成本：模型微调不再需要在每个目标脚手架上重复采集数据，一套规划感知轨迹即可通用，显著节省数据工程与人工修正开销。
• 提升开发者体验与效率：Agent 在用户偏好的开发环境中表现稳定，减少“换个 IDE 就失效”的挫败感，加速代码生成与问题解决，直接缩短交付周期。
• 扩大市场覆盖：Agent 产品可无缝进入使用不同工具栈的企业，不再因脚手架绑定而丢失客户，增强产品竞争力。

与现有产品 / 工作流的接口

DCAS 以 后端替换拦截层 形式工作，无需修改现有脚手架或模型代码，可通过 API 路由集成进：

• IDE/编辑器插件与 CLI 工具链，作为中间代理统一管理规划调用。
• 持续集成服务器（如 Jenkins、GitHub Actions），通过环境变量或配置注入 DCAS 层，确保 Agent 在流水线中行为一致。
• 企业级 AI 网关或模型路由层，将 DCAS 部署为零信任的旁路服务，对下游透明。

具体用例

1. 全球化电商平台的自动化测试：开发团队分散，部分使用 VS Code + OpenHands，部分使用自定义 CLI 工具。通过 DCAS 收集少量规划感知轨迹微调模型后，Agent 能在所有环境中可靠生成测试用例，测试通过率提升且人工补写脚本减少 30%。
2. 跨平台 IDE 的代码重构服务：SaaS 企业提供代码重构 API 供不同 IDE 调用，底层的 Agent 模型利用 DCAS 解耦规划能力，使同一模型在 IntelliJ、VSCode 和 Web Terminal 中重构建议准确率相当，用户留存率因体验一致而提高。

局限

• DCAS 依赖一个额外的后端替换拦截层，虽然不修改脚手架，但引入了中间层通信开销和部署复杂度，在生产环境中可能增加延迟和运维负担。论文未详细评估该层的性能影响。
• 实验仅在以 CLI 为核心软件工程 agent 的场景下验证，未扩展至其他类型的 agent 或非 CLI 交互界面，跨领域泛化能力未知。此外，收集 planning-aware 轨迹的训练 scaffold 单一，可能隐含该 scaffold 特有的偏见，影响模型在极端异构环境下的表现。
• 论文主要关注规划结构的内部化，但未深入探讨显式规划与隐式规划在更复杂、多步推理任务中的解耦程度与上限，也未与 reinforcement learning 或 reasoning 增强方法（如 tree-of-thought）做直接对比，解决 scaffold 偏差的通用性尚需进一步论证。