评论：FLOPs是智能，参数是知识。

Liam Fedus

来自 @jietang 的缩放定律优秀历史。2020年，我们通过将每个token路由到2048个专家中的仅1个来探索Switch Transformers中稀疏性的极限（事后看来，这是一个大胆的选择）。该模型只有不到30亿的激活参数，但总参数达1.6万亿。https://t.co/2CjbN9325T

打开互动版