SLDBench v2 发布：让 AI 自主选择实验并发现 Scaling Law
它把“该做哪些实验”这一步也交给 AI；结果说明模型能总结规律，但主动设计实验仍是短板。
研究团队发布 SLDBench v2，把公开发表的训练记录做成一份按算力计价的“实验目录”：AI 需要自己决定购买哪些实验、边买边修正公式、并判断何时停止，最后一组从未见过的大规模实验作为考题。结果显示，8 个前沿模型一旦要自己选实验，预测误差就扩大到原来的 1.5 至 4.7 倍；表现最好的 Claude Opus 5.5 只用 4% 的成本，精度就超过了用全部数据拟合的经典幂律公式。
正文摘录
.jpg) 作者丨论文团队 编辑丨ScienceAI 近来， AI for AI （用 AI 研发 AI）备受关注，但相关工作大多停留在 小规模实验 ：少量 GPU、数小时即可得出结论，例如训练算法设计、数据筛选方法对比。真正决定大模型能力走向的 预训练量级实验 ，单次就要消耗数百乃至上千 GPU 小时，AI 还很少参与其中的规划与决策。 人类研究者同样无法大量开展这类实验，通行的做法是借助 Scaling Law ：先完成一批小规模实验，总结出性能随规模变化的规律，再推算大规模实验的结果。先做哪些实验、做到多大规模、何时停止，本身就是 对大规模实验的规划 。 而 Scaling Law 的公式长期依赖研究者 手工设计 ，换到新场景往往需要大量试错。发表于 ICLR 2026 的 SLDBench 尝试让 AI 自己发现公式：在 5,000 多个真实训练实验上，AI 提出的规律，外推精度超过了人类专家此前提出的公式。 但在 SLDBench 中，实验结果事先全部给定， 做哪些实验，仍由人来决定 。 如果这一步也交给 AI 呢？ 近日，来自香港中文大学（深圳）、香港大学、清华大学和北京大学的研究团队发布了 SLDBench v2 ：AI 面对一份由真实训练记录构成的 标价实验目录 ，每选择一个实验，就要支付当年实际消耗的算力，最后用总结出的规律预测从未见过的更大规模实验。 评测给出的答案是： 目前还难以做到。 8 个前沿模型一旦需要自己选择实验，成绩全部下滑，预测误差扩大到原来的 1.5 至 4.7 倍。