o3 Pro在ARC-AGI-1上表现中等,ARC-AGI-2上低于5%
o3 Pro 在 ARC-AGI 半私有评估中的结果
ARC-AGI-1:
* Low: 44%, 每任务$1.64
* Medium: 57%, 每任务$3.18
* High: 59%, 每任务$4.16
ARC-AGI-2:
* 所有推理努力: <5%, 每任务$4-7
要点:
* o3-pro 与 o3 表现一致
* o3 的新定价设定了 ARC-AGI-1 的前沿
ARC-AGI-1:
* Low: 44%, 每任务$1.64
* Medium: 57%, 每任务$3.18
* High: 59%, 每任务$4.16
ARC-AGI-2:
* 所有推理努力: <5%, 每任务$4-7
要点:
* o3-pro 与 o3 表现一致
* o3 的新定价设定了 ARC-AGI-1 的前沿