Kimi 发布 K3 模型权重和技术报告,2.8T MoE 架构
发布 Kimi K3 的模型权重和技术报告。
Kimi K3 是我们最强大的模型:一个 2.8T 参数的 MoE 模型,具备原生视觉理解和 1M token 上下文窗口。
新模型架构:每单位计算智能提升 2.5 倍,不仅仅是增加参数。
除了 Kimi K3,我们还开放了其背后的更多技术栈——高性能注意力内核、MoE 通信库,以及大规模运行智能体环境的基础设施。
模型权重:https://t.co/7m7eEg6Y0B
技术报告:https://t.co/yeu6cjpMCT
技术博客:https://t.co/YTfiMSNM1f
Kimi K3 是我们最强大的模型:一个 2.8T 参数的 MoE 模型,具备原生视觉理解和 1M token 上下文窗口。
新模型架构:每单位计算智能提升 2.5 倍,不仅仅是增加参数。
除了 Kimi K3,我们还开放了其背后的更多技术栈——高性能注意力内核、MoE 通信库,以及大规模运行智能体环境的基础设施。
模型权重:https://t.co/7m7eEg6Y0B
技术报告:https://t.co/yeu6cjpMCT
技术博客:https://t.co/YTfiMSNM1f