Motif-3-Beta模型发布，314B参数，稀疏MoE
Motif-3-Beta 刚刚在 Hugging Face 上发布
~314B 总参数 / 每个 token 约 13B 活跃参数（稀疏 MoE）
256K 上下文长度（262,144 tokens），原生长上下文
稀疏路由：384 个专家，每个 token 激活 8 个，外加 1 个共享专家
多语言、通用目的
https://t.co/EqRUYr4OGD
~314B 总参数 / 每个 token 约 13B 活跃参数（稀疏 MoE）
256K 上下文长度（262,144 tokens），原生长上下文
稀疏路由：384 个专家，每个 token 激活 8 个，外加 1 个共享专家
多语言、通用目的
https://t.co/EqRUYr4OGD