动态

AAR超越人类基线,恢复97%性能差距,成本$18k。

AAR超越人类基线,恢复97%性能差距,成本$18k。
Andrew Curran
'为了给AAR的结果提供基准,我们将它们的工作与人类基线进行了比较。我们的两位研究人员花了七天时间迭代了先前研究中四种最有前景的泛化方法。在我们测试的开放权重模型上(Qwen 3-4B-Base作为强模型,Qwen 1.5-0.5B-Chat作为弱教师),人类恢复了总性能差距的23%(即PGR为0.23)。

Claude明显改进了这个结果。经过又五天(累计800小时研究),AAR几乎弥合了剩余的整个性能差距,最终PGR达到0.97。这花费了约1.8万美元的token和模型训练费用,即每AAR小时22美元。你可以从下图看到每个AAR从人类基线(0小时)开始的进展。'
动态Andrew Curran2026-04-14原文

相关内容