CodeActionBench 发布，评测通用 Agent 的机器人操作能力
一个不问模型、只问通用 Agent 能否用代码操作机器人的评测：25 个双臂仿真任务，成功率 2.7% 到 73.3%。
南洋理工大学等提出 CodeActionBench，用 25 个双臂仿真任务评测通用多模态 Agent 的机器人操作能力，共进行 675 次尝试。九个模型与运行框架配置的尝试成功率从 2.7% 到 73.3%，其中 GPT-6 Astra 达 73.3%，Claude Opus 5 分别取得 49.3% 和 45.3%。
正文摘录
.jpg)  从视觉观察到策略生成，再到物理执行与完成判断，CodeActionBench 在统一条件下评测通用多模态 Agent 的机器人操作能力。在双臂仿真评测中， GPT-6 Astra (Codex CLI) 的尝试成功率达到 73.3% ，Claude Opus 5 在 Reference harness 和 Claude Code 下分别取得 49.3% 和 45.3% 。