翁荔新博文:谨慎对待Scaling Law
翁荔新博客深入剖析Scaling Law的假设与局限,提醒AI从业者谨慎外推。
Scaling Law(规模定律,即模型性能随参数、数据和计算量增大而可预测提升)是AI领域重要经验规律。翁荔在博客中详细介绍了其预测内容、计算最优分配原理、不同研究分歧原因,以及数据限制如何使外推变得困难,提醒从业者不要盲目相信外推结果。
正文摘录
.jpg) 刚刚,翁荔(Lilian Weng)的博客 Lil'Log 终于更新了!要知道,自从她联合创立了 Thinking Machines Lab 之后,她那让许多人受益良多的博客就鲜少更新了——距离她上一次更新,已经过去了 13 个月。  就在几个小时前,翁荔新作《谨慎对待 Scaling Law》上线,瞬间引爆社交网络。