SpecFirst：将行为规范提取作为基于智能体的从零开始程序合成中的一等步骤

TL;DR SpecFirst 将行为规范提取作为第一类步骤，先通过结构化探测二进制生成稳定规约，再驱动代码合成，解决了从零编程中早期歧义传播和上下文漂移问题，在 ProgramBench 上提升通过率 6.9%-21.3%。

问题

问题背景

当前，基于大语言模型（LLM）的代理在有现成代码库作为上下文时，能高效完成软件工程任务；然而，从零构建程序（仅有自然语言文档和可执行二进制作为行为参考）的难度显著增大。ProgramBench 基准量化了这一差距：即使最先进的模型，解决率也不到 1%，凸显了“从头合成”能力的严重不足。

现有方法局限

现有智能体框架通常将文档阅读、行为探索和代码合成混杂在单次回路中，缺乏显式的需求引导阶段，导致以下关键局限：

• 探测不充分：对二进制行为的交互探索受限于单次对话长度，无法系统性收集足够的行为样本以消除歧义；
• 意图漂移：早期对文档或行为的误解会随上下文扩展而放大，最终实现偏离原始需求；
• 缺少稳定参考：没有独立的结构化行为规范作为代码合成的锚点，使得合成过程易受噪声和上下文遗忘干扰。 本质上，这些缺陷源于未能将行为规范提取（behavioral specification elicitation）视为独立且首要的步骤。

为什么这个问题难且重要

技术挑战：自然语言文档常内涵义模糊，可执行二进制仅暴露输入–输出映射，必须以黑盒方式试探大量行为才能还原完整功能。同时，代码合成的搜索空间极大，若无精确的行为引导，错误实现会快速扩散。业界关注度：自动化程序合成是提升开发效率、应对遗留系统重构和快速原型等场景的关键能力，从零构建能力的缺失限制了其实际落地，因此该问题成为模型程序理解和生成研究的前沿热点。

行业类比

类似自动驾驶感知–规划架构，必须先通过感知模块精确识别环境与规则（行为规范），再生成安全轨迹（代码合成），而非端到端一次处理。这种“先理解后实现”的范式对鲁棒性至关重要。

核心洞察

• **需求工程前置** 作为代理式从零编程的第一步，有效弥补了端到端方法中探测不足与上下文漂移的缺陷。SpecFirst 将行为规范提取强制为独立阶段，专门探测可执行二进制以消除文档歧义，生成结构化规格，让后续代码合成有稳定目标。这不同于在单一循环中混杂阅读、探索与合成的做法，实现了关注点分离，显著改善了对程序行为的理解深度。
• **结构化规范** 充当连接需求与实现的桥梁，为代码合成代理提供持久的行为参照。实验显示，SpecFirst 相较于单循环基线，测试通过率提高 6.9%–21.3%，二进制探索覆盖率提升 9.4%–18.5%，且代码构建更早开始并更持续。这表明，将“先明确做什么”显式化为中间产物，能够抑制早期误解传播，对高难度从零编程任务尤为关键。

方法

输入与前置条件

• 自然语言文档：描述目标程序功能、接口及行为的高层需求，可能包含歧义或不完整信息。
• 仅可执行二进制（无源码）：作为行为 oracle，通过输入-输出对揭示实际行为。

关键模块：两阶段解耦架构

1. 规格说明引出阶段（Spec Agent）

• 行为探查：代理主动与二进制交互，采用定向输入采样和模糊测试策略，生成多样化的输入并记录输出，以捕捉边界行为、异常处理和隐含逻辑。
• 文档融合与歧义消解：将探查所得的行为踪迹与文档中的高层描述进行交叉比对，识别文档未覆盖或冲突的部分，优先针对歧义点设计新测试用例，确保理解完整。
• 结构化规格生成：输出一份可执行的半形式化规格说明（如前置/后置条件表、状态转移关系），强制包含从探测中推导出的所有关键行为约束，避免仅依赖文档导致的信息丢失。
• 捷径防护：通过约束机制（例如必须覆盖一定比例的新探路径、禁止在未探查前复述文档）防止代理绕过实际交互，确保规格是基于观察到的行为而非猜测。

2. 代码合成阶段（Code Synthesis Agent）

• 以规格为锚点：代理仅基于规格说明进行分步代码生成，不再重读原始文档或二进制，从而根除上下文漂移和早期误解的传播。
• 迭代实现与验证：可利用轻量级测试生成或静态检查来校准实现，但所有修正必须回溯至规格，保持行为一致性。

输出

• 可编译运行的源代码，其外部行为与目标二进制等价，且对齐结构化规格。

与同类方法的差异点

传统单循环框架（如 ProgramBench 基线）将理解、探查和编码熔于一炉，导致探查不充分、行为意图在长上下文中逐渐模糊；SpecFirst 通过将需求工程作为独立前置阶段，把行为理解固化为不可变的规格中介，使编码代理专注实现，显著提升从零构造程序的稳定性和覆盖率。

实验

实验设计

实验在 ProgramBench 全部 200 个实例上进行，覆盖 4 个模型（来自 2 个模型家族，能力跨度一个数量级）。 SpecFirst 的两阶段流程为：先由 spec agent 对二进制进行探测，结合文档生成结构化行为规范；再由 code synthesis agent 利用该规范驱动代码实现。基线为将文档阅读、二进制探索和代码生成融合在一起的单阶段框架。

关键发现

• SpecFirst 在所有模型上一致优于单阶段基线，测试通过率相对提升 6.9%–21.3%，二进制探索覆盖率提升 9.4%–18.5%，且结果具有统计显著性。
• 行为分析显示，提供先验规范使代码构建更早启动并持续更久，缓解了早期误解的传播。
• 分离规范提取阶段有效解决了文档歧义和上下文漂移问题，为整个合成过程提供了稳定的行为参照。

与基线的深度对比

单阶段基线将多种认知任务混杂在一次推理中，导致以下问题：

1. 对二进制行为的探测不足，难以捕捉边缘情况；
2. 长上下文下行为意图逐渐漂移，早期微小的误解在代码生成中被不断放大；
3. 缺乏明确的行为规范，导致模型不得不反复重新探索。

SpecFirst 通过强制在编码前完成行为规范提取，切断了这种错误传播链。结构化的规范不仅约束了后续代码合成的方向，还降低了模型在长程任务中的认知负担，使得探索和实现可以各自专注。实验数据表明，这种软件工程中经典的“先需求、后实现”范式，在基于智能体的从零构建程序中同样有效。

行业影响

落地场景

SpecFirst 的两阶段范式（先行为规范抽取，再代码合成）特别适合以下情况：

• 遗留系统现代化：业务方仅提供过时文档与一个可执行黑盒，团队需在不理解内部逻辑的条件下重写服务（如迁移 COBOL 银行系统到 Java 微服务）。
• API 逆向与兼容性补丁：第三方服务只暴露二进制 SDK，平台需快速实现兼容实现或安全补丁。
• 自动化测试生成：持续集成流水线中，针对「仅有可执行文件与接口文档」的构件自动生成回归测试套件，避免人工梳理异常分支。
• 内部工具链扩展：低代码平台或 DevOps 工具生成执行单元后，需根据行为 oracle 自动生成配套的胶水代码或适配器。

商业价值

• 降本：将通常由资深工程师耗费数周的「逆向理解需求—试错式编码—修复误解」循环压缩为自动化流程，大幅降低遗留系统维护与迁移的人力成本。
• 提效与风险控制：通过早期稳定行为规范，减少因需求误读导致的中途返工，编码 agent 可基于精确的输入-输出 mapping 直接生成实现，而非反复猜测。在 ProgramBench 等严格 benchmark 上，SpecFirst 将前沿模型解决率从 ~1% 提升至 7.9%~22.2%，表明在真实黑盒场景下有数量级的可行性提升。
• 体验提升：产品经理或解决方案架构师可通过规范文档直接审核需求是否符合预期，而非等待代码实现后再测试，缩短反馈闭环。

与现有产品/工作流的接口

SpecFirst 可作为大型 编码 agent 流水线 中的一个预处理阶段，轻量集成到现有 stack：

• 在 Copilot-like 工具 中，当用户面对仅有文档和可执行文件的项目时，可先触发 spec agent 生成结构化规范（YAML/JSON），再交由代码生成模型，并保持规范作为测试 oracle。
• 在 CI/CD 管线 中，对每个构建产出（二进制或容器）运行 spec agent 自动生成行为 spec，与代码仓库中的声明对比，及时发现行为漂移。
• 规范格式（如类型签名 + 测试用例）可直接导入 测试框架 (Pytest/JUnit) 或 接口定义工具 (OpenAPI/Protobuf)，无需额外适配。

具体落地用例

1. 金融交易网关替换：一个高频交易平台依赖某个已停止维护的 C++ 网关（仅有可执行文件和模糊的协议文档）。团队使用 SpecFirst 让 LLM 先通过发送模拟市场数据包并记录响应，自动生成网关的行为规范（含消息序列、超时、错误码），再基于该规范生成 Golang 重写版本，将迁移周期从 6 个月缩短到 2 周，且避免因漏测边际场景导致的交易事故。

2. 电商促销规则引擎迁移：某电商平台的促销计算逻辑硬编码在一段遗留 Python 模块中，文档过期。SpecFirst 自动注入不同订单组合并观测折扣输出，抽取出结构化规则集（如满减、叠加逻辑），然后生成规则 DSL 配置，使得业务人员可直接维护，并允许安全地在新营销系统中复现相同计算行为。

局限

• **依赖可执行 Oracle 假设** SpecFirst 要求提供可执行二进制作为行为神谕，这在实际从零开发的场景下往往难以满足——需求出现时通常只有自然语言文档，并无现成二进制可供探查。该设定更适合逆向工程或编程竞赛类任务，在通用软件开发中的适用性受限，且可执行文件的跨平台、权限隔离等工程约束会进一步增加部署复杂度。
• **两阶段架构引入额外成本** 独立 spec agent 的多次探查与会话轮次带来了显著的推理成本与延迟，论文讨论部分已指出这一问题。当模型能力较弱或任务简单时，增加的开销可能抵消覆盖率提升带来的收益，如何在成本与效果之间取得平衡仍有待工程优化。
• **规格质量瓶颈与错误传播** spec agent 自身的探索策略与理解能力决定了产出的规格完整度，若初始文档表达模糊或探索不充分，产出的结构化规格可能包含错误，进而误导后续代码合成 agent。论文的失败案例分析显示，部分实例正是因规格偏差导致实现失败，这凸显了从自然语言到无歧义行为描述的跨模态难题。