动态

10行pytest钩子使SWE-bench得分100%但0修复

10行pytest钩子使SWE-bench得分100%但0修复
Hao Wang
SWE-bench Verified 是最具影响力的编码基准之一。

我们的漏洞利用:一个10行的pytest钩子放在仓库中。Pytest在测试运行前自动发现它,每个测试结果在被评分器看到之前都被重写为“通过”。

结果:在所有500个Verified实例和731个Pro实例上获得100%。
修复的bug:0。
动态Hao Wang2026-04-09原文

相关内容