动态

前沿模型在ARC基准上因过度优化而出现编码过拟合

François Chollet
关于前沿模型在ARC基准上的有趣发现——由于对基准的广泛直接针对性优化,模型对原始的ARC编码格式产生了过拟合。前沿模型的性能仍然很大程度上依赖于熟悉的输入分布。
Melanie Mitchell
@mikeknoop 我们发现,如果将编码从数字改为其他类型的符号,准确率会下降。(结果即将发表。)我们还发现了其他可能的捷径。
动态François Chollet2026-02-14原文

相关内容