OpenAI发现SWE-Bench Pro约30%任务存在缺陷
代码评估基准也有bug：SWE-Bench Pro约三成任务有问题，模型分数可能不靠谱。
OpenAI对代码评估基准SWE-Bench Pro（用于测试模型编程能力的标准化任务集）进行详细审计，发现约30%的任务存在设计缺陷，包括测试过于严格、需求不明确等问题，可能导致模型能力被高估或低估。
正文摘录
编码评估中的信号与噪声分离 2026 年 7 月 8 日 [研究](https://openai.com/news/research/)[出版](https://openai.com/research/index/publication/) 编码评估中的信号与噪声分离 通过详细审计，我们发现 SWE-Bench Pro 中存在广泛的任务问题，估计约 30% 的任务存在问题。 加载… 分享 准确衡量模型能力对于合理的部署和安全决策至关重要，包括 OpenAI [Preparedness Framework （在新窗口中打开）](https://cdn.openai.com/pdf/18a02b5d-6b67-4cec-ab64-68cdfbddebcd/preparedness-framework-v2.pdf) 下的决策。随着每次模型发布，我们会报告一系列外部和内部基准测试的结果，以跟踪模型进展。当评估存在影响结果的缺陷时，可能会对能力产生错误理解，歪曲安全案例并影响研究优先级。 我们 [最近调查了](https://openai.com/index/why-we-no-longer-evaluate-swe-bench-verified/) 最广泛使用的编码基准之一 SWE-bench Verified，发现其存在根本性设计和污染问题，该评估已不再能提供关于软件开发能力的有意义信号。当时，我们鼓励更广泛的社区转向 SWE-Bench Pro。 [SWE-Bench Pro （在新窗口中打开）](https://scale.com/blog/swe-bench-pro) 旨在通过测试模型处理更长周期和更现实编码任务来改进 SWE-bench Verified，从而更好地跟踪智能体编码能力。