动态

证明无幂律结构数据仍存在缩放定律,可用2层transformer发现。

Siqi Chen
与 @MBarkeshli 和 @Andr3yGR 的惊人合作。

我们证明了即使数据没有幂律结构,缩放定律也会出现,并且可以用一个2层transformer和小的上下文长度再次发现缩放定律。
动态Siqi Chen2026-05-27原文

相关内容