孙宇涛领读 Kimi K3 技术报告:架构创新与开源 MoE
专家领读 Kimi K3 技术报告,深入解析 MoE 架构创新与训练细节,理解其开源意义。
嘉宾孙宇涛
节目简介
本期邀请清华博士候选人孙宇涛领读 Kimi K3 技术报告。K3 是有效扩展到 2.8T 总参数并全量开源的 MoE 模型。宇涛从架构创新切入,讲解线性注意力、Gated MLA、Attention Residuals、Stable LatentMoE、Muon 优化器等设计,并串联十余篇相关论文,呈现技术之美。
专家领读 Kimi K3 技术报告,深入解析 MoE 架构创新与训练细节,理解其开源意义。
嘉宾孙宇涛
本期邀请清华博士候选人孙宇涛领读 Kimi K3 技术报告。K3 是有效扩展到 2.8T 总参数并全量开源的 MoE 模型。宇涛从架构创新切入,讲解线性注意力、Gated MLA、Attention Residuals、Stable LatentMoE、Muon 优化器等设计,并串联十余篇相关论文,呈现技术之美。