10行pytest钩子使SWE-bench得分100%但0修复
SWE-bench Verified 是最具影响力的编码基准之一。
我们的漏洞利用:一个10行的pytest钩子放在仓库中。Pytest在测试运行前自动发现它,每个测试结果在被评分器看到之前都被重写为“通过”。
结果:在所有500个Verified实例和731个Pro实例上获得100%。
修复的bug:0。
我们的漏洞利用:一个10行的pytest钩子放在仓库中。Pytest在测试运行前自动发现它,每个测试结果在被评分器看到之前都被重写为“通过”。
结果:在所有500个Verified实例和731个Pro实例上获得100%。
修复的bug:0。