强调ARC 3公开演示集非评测集,私有集更难,最高分仅2.7%

常提提醒——公开的ARC 3游戏集被称为“演示集”,而非“评测集”或“训练集”。它不应用作训练数据,也不应用作评测。在公共演示集上的分数并不代表在真实基准上的分数。演示集旨在展示格式并推动人类参与。私有评测集的难度和新颖性都高得多。今日Kaggle排行榜上的最高分是2.70%(这是半私有集——比赛结束时,提交会以完全私有集评分)。