生成之前先立规范:一项预注册的五模型配对评估——评估面向 LLM 生成代码的规范框架在金额、时间、幂等与访问任务中的效果

TL;DR 预注册五模型配对实验证明：在提示中前置 267 词规格说明帧，可使 LLM 在金额、时间、幂等、访问控制任务中生成更安全的代码，五个前沿模型缺陷一律下降，Bandit 中高危问题从 53 降到 11。

问题

问题背景
LLM 生成代码已进入后端核心链路，但安全缺陷率四年未显著下降，在金融、医疗、保险等受监管场景中，金额计算、时间处理、重试安全与访问控制四类缺陷直接关乎资金与合规。

现有方法局限
团队普遍依赖指令文件（instruction files）或更宽泛的提示词约束，但最大规模对照研究发现这类方法对缺陷率没有显著改善。原因在于指令文件多为自然语言建议，未将输出必须满足的谓词条件与生成过程绑定；模型仍倾向采样训练分布中的默认实现，无法针对 money arithmetic、time handling、idempotency、access control 施加硬性约束。

为什么难且重要
这些缺陷多为语义正确性问题，静态语法检查难以捕获；模型在预训练中未见大量标注了此类不变式的代码，主动注入约束需要任务级知识。受监管后端一旦出现金额进位错误或非幂等重试，会引发资金损失与审计风险，因此业界对可验证、可复用的 prompt 结构有强烈需求——这正是本文用预注册对照实验验证 Specification Frame 的动机。

行业类比
如同自动驾驶中给感知模型注入交通规则先验，而非仅靠数据拟合，规范框架为代码生成提供任务级安全约束。

核心洞察

• Specification Frame 的本质不是增加生成步骤，而是前置声明 result 必须满足的 money / time / idempotency / access 性质约束。与已发表的最大规模 instruction file 研究不同——那项研究发现添加指令文件无收益——本研究通过固定 267 词 spec 前置，在五个前沿模型上均获得显著缺陷下降，独立 Bandit 扫描从 53 个中高危问题降至 11 个。这提示对生成分布施加约束性声明，比堆积过程性指示更有效。
• 效果幅度与模型 baseline 默认纪律呈负相关：在 bare prompt 下缺陷最多的模型，加上 Specification Frame 后改进最大。这挑战了仅靠 scaling 或通用 instruction 修复安全缺陷的思路，说明缺失的纪律可以通过外部规格声明以极低成本注入。工程上可直接针对已知薄弱模型优先部署此类前置声明，而不必等待模型内在能力提升。

方法

输入与任务构造

实验使用 50 个后端任务，覆盖金融、医疗、保险领域，每个任务要求生成处理金钱运算、时间处理、重试安全、访问控制的代码。任务以两种提示输入：裸提示与前置规格框架。框架为 267 词固定模板，声明生成结果必须满足的具体约束（如货币精度、时区正确处理、幂等重试、权限校验）。

关键模块：规格框架、检查器与统计

• 规格框架（Specification Frame）：作为固定前言插入提示，不修改任务本身，用于向模型注入“必须为真”的约束。
• 生成规则：预注册一次性生成规则，避免多次采样和挑选；每个任务每个模型仅生成一次输出。
• 检查器：九个确定性 AST 检查器分别针对四类缺陷做结构化判断；同时使用 Bandit 安全扫描器，该扫描器对框架不知情，作为独立盲评。
• 统计检验：预注册假设与驳斥者，采用 Holm 校正的符号检验 和 bootstrap 置信区间 检验配对差异。

输出与差异点

输出为每个模型在裸提示与框架提示下的缺陷计数差异，比较发现框架在所有五个模型上均减少缺陷（平均减少 0.16 至 0.70 个发现/任务），且 Bandit 扫描器结果同向。

与同类工作差异：不同于指令文件（instruction files）的宽泛指导，本方法使用精简且固定的规格前缀，直接约束生成代码必须满足的性质，而非依赖模型理解指令文件的上下文。

实验

实验设计

论文采用预注册的一次性生成规则，在 50 个金融 / 医疗 / 保险后端任务上对比两种 prompt：bare 与 bare + 267 词 specification frame。5 个前沿模型（5 个厂商谱系）各跑 100 次（每任务两臂）。主评估为 9 个确定性 AST checker，次评估用对 frame 不可知的 Bandit 扫描器。

关键发现

• 所有 5 个模型中，spec frame 均降低缺陷：每任务平均减少 0.16–0.70 个 findings；Holm 校正符号检验全部显著，bootstrap CI 均排除零。
• 两臂有差异时，frame 臂在 100 次中赢了 95 次。
• 任何领域、任何模型均未出现 frame 使结果变差。
• Bandit 独立扫描到 medium/high 问题：bare 臂 53 个 vs frame 臂 11 个，方向一致。

对比解读

与“最大规模指令文件研究无收益”的基线相比，本工作用固定前置规范而非开放指令，直接限定结果必须满足的约束；效果最强出现在模型默认纪律最弱的任务，说明 frame 提供的是模型自身缺少的约束，而非重复已有能力。预注册 + 全量发布（DOI / GitHub）增强了可复现性。

行业影响

落地场景

该 规范前置框架 可直接用于任何需要生成后端业务代码的场景，尤其适合对资金运算、时间处理、幂等性、访问控制有严格要求的垂直领域。例如：

• 在金融交易系统中，生成支付路由、利息计算、对账代码时，加入固定规范可显著降低资金精度、时区、重试副作用缺陷。
• 在电商订单系统中，生成库存扣减、退款、优惠券核销代码时，减少并发与重复请求问题。
• 在医疗预约 / 电子病历平台，保证审计日志和权限校验代码符合规范。

商业价值

论文显示五个前沿模型平均每任务缺陷减少 0.16–0.70 个，Bandit 扫描中高危问题从 53 降至 11。这意味着：

• 降本：减少 code review 时间、修复生产事故成本。安全缺陷在测试或上线后修复代价远高于生成时避免。
• 合规增效：对于受监管行业（金融 / 医疗 / 保险），自动生成的代码符合规范可加速审计与认证。
• 模型利用率提升：在不更换模型的前提下，以极低成本（一个 267 词的 prompt 前缀）获得明显质量提升，ROI 极高。

与现有产品 / 工作流集成

集成方式非常轻量：

1. 在 AI 代码助手（如 GitHub Copilot、CodeWhisperer、企业内部 LLM 网关）中，将 specification frame 作为系统提示词或固定前缀注入用户 prompt。
2. 在 CI/CD 流水线中，对生成代码自动运行 AST 检查器和 Bandit 扫描，将结果反馈到下一轮生成（闭环优化）。
3. 对于企业自建代码生成平台，可将该框架模板化，按业务域（资金、时间、幂等、权限）配置不同检查项。

具体落地场景：某跨境电商平台使用 LLM 生成订单退款与库存同步微服务，通过注入规范前缀，减少幂等键缺失和金额精度错误；某在线医疗预约系统生成医生排班和权限校验 API，规范前缀显著降低时间区间重叠和越权漏洞。

局限

• - **外部有效性与任务设计偏差**：研究任务集为 50 个来自金融、医疗、保险的后端任务，虽然预注册降低了选择性偏差，但任务可能高度聚焦于四类缺陷（货币、时间、幂等性、访问控制），且均由作者构造，实际生产后端代码的多样性和复杂度可能不同。此外，267 词规范框架本身是针对这些缺陷类别精心撰写的，其有效性可能难以迁移到其他缺陷类型或更通用的代码生成场景，泛化性存疑。
• - **评估指标静态且未覆盖语义正确性**：论文仅使用九个 AST-based checkers 和 Bandit 静态扫描器，这些工具能捕获语法和已知安全模式缺陷，但无法检测运行时错误、业务逻辑错误或上下文相关的安全漏洞。而且没有对生成代码进行功能正确性测试，因此“缺陷减少”可能只反映了静态规则满足度提升，不一定代表代码实际质量提升。此外，静态扫描器可能存在漏报和误报，Bandit 本身对某些缺陷类型不敏感。
• - **缺少与现有提示策略的直接对比**：论文与 bare prompt 对比证明了规范框架有效，但没有与已广泛使用的 instruction files 或其他提示工程方法（如 role prompting、few-shot 示例）在同任务集上直接比较。摘要中提到“最大的对照研究发现指令文件无益”，但本文并未复现该设置，因此无法得出规范框架优于指令文件的结论，削弱了其相对优势的证据强度。实际工程中团队更关心增量收益，缺少这种对比限制了结论的实用性。