动态

SWE-bench评估基准更新:不再用Verified,推荐Pro

OpenAI Developers
前沿编码评估的标准随着模型成熟度而改变。我们现在建议报告SWE-bench Pro,并分享更多关于为何不再报告SWE-bench Verified的细节,因为我们与行业合作建立更强的编码评估标准。SWE-bench Verified曾是一个强基准,但我们发现由于测试设计问题和公共仓库的污染,它现在已经饱和。
动态OpenAI Developers2026-02-23原文

相关内容