Deepseek V4.1 Flash 552B总参数、8/16B激活,新架构在45T token上训练,基准极高
RT @eliebakouch: Deepseek V4.1 Flash 总参数 552B,激活 8/16B,采用新架构,在 45T tokens 上训练;其 encoder/decoder 架构对输入/输出 token 使用不同的激活参数,并包含 engram、新的稀疏注意力、新的 mHC、原生视觉。
基准测试非常高(击败 K3),效率惊人,而且一如既往有出色的技术报告。
这大概是我近期见过的最新颖的架构,相当疯狂。
基准测试非常高(击败 K3),效率惊人,而且一如既往有出色的技术报告。
这大概是我近期见过的最新颖的架构,相当疯狂。