ARC-AGI-3工具分析模型行为,指出失败模式,提供回放
ARC-AGI-3 是一个有用的研究工具,用于分析模型行为
我们早期测试中看到的关键失败模式:
• 认为自己在玩另一个游戏
• 坚持早期假设
• 无法预测未来
AI 和人类运行都有可分享的回放
观看 Gemini 3.1 在一些游戏上表现良好,在其他游戏上表现不佳:
https://arcprize.org/replay/34a9614e-9b77-4f82-bda4-ff1320f2e15b
…
https://arcprize.org/replay/d0e07686-493f-4801-b154-043c8158a967
…
我们早期测试中看到的关键失败模式:
• 认为自己在玩另一个游戏
• 坚持早期假设
• 无法预测未来
AI 和人类运行都有可分享的回放
观看 Gemini 3.1 在一些游戏上表现良好,在其他游戏上表现不佳:
https://arcprize.org/replay/34a9614e-9b77-4f82-bda4-ff1320f2e15b
…
https://arcprize.org/replay/d0e07686-493f-4801-b154-043c8158a967
…