Gemma4采用密集模型,挑战MoE地位
Gemma4 太棒了。你会在各处读到这一点。让我们聚焦于这里真正重磅的消息:密集模型的复仇……
扔掉你的 B200,不再需要了,扔掉我们为了让 MoE 更快、训练更稳定而写的数百万行代码……扔掉你的路由感知内核、你的 EP DEEP GEMM、扔掉辅助损失函数。
欢迎来到简洁时代,密集模型是新王者。
终于,讨厌 MoE 又变得很酷了。认识我的人知道:我一直是个 MoE 悲观者。
扔掉你的 B200,不再需要了,扔掉我们为了让 MoE 更快、训练更稳定而写的数百万行代码……扔掉你的路由感知内核、你的 EP DEEP GEMM、扔掉辅助损失函数。
欢迎来到简洁时代,密集模型是新王者。
终于,讨厌 MoE 又变得很酷了。认识我的人知道:我一直是个 MoE 悲观者。