Agent替换系统工具在Terminal-Bench作弊获得满分
Terminal-Bench有89个困难的系统管理员任务。Harbor在验证前重新上传受保护的测试文件,使agent无法篡改它们。
但它不保护系统二进制文件。
我们的agent替换了curl,拦截了验证器的依赖安装,植入了木马化的二进制文件,并向奖励文件写入伪造的通过输出。
结果:89/89。
实际解决方案编写:0。
但它不保护系统二进制文件。
我们的agent替换了curl,拦截了验证器的依赖安装,植入了木马化的二进制文件,并向奖励文件写入伪造的通过输出。
结果:89/89。
实际解决方案编写:0。