128GB Mac 成功运行 1.6TB Kimi K3 权重，速度仅 0.32 token/s
个人开发者用 128GB Mac 流式加载 1.6TB 权重跑通 Kimi K3，速度极慢但证明可行；80 张 5090 则达到可用速度。
Kimi K3 有 2.8 万亿参数，官方权重达 1.56TB，通常需要 1.5TB GPU 内存和 8 张 H100。但有人用一台 128GB 内存的 Mac，通过流式读取硬盘权重，让模型运行起来。虽然速度极慢（每 token 约 3 秒），但证明了个人设备也能加载超大模型。另有团队用 80 张 RTX 5090 跑出 20 token/s 的可用速度。
正文摘录
.jpg) 编辑｜山辉 Kimi K3 开放完整权重后，不少人都跃跃欲试。 2.8 万亿参数、官方 MXFP4 权重——有了这些，你就可以自己摆弄这个规模巨大的模型，并部署到本地。 现实情况真有这么简单吗？ 有人总结，运行 Kimi K3 其实很容易， 只需要 1.5TB GPU 内存、大约 8 张 H100，以及一座小型变电站 。  很快有人算了一笔账，按照这张粗略的成本表，如果将大容量 GPU 服务器和供电设施都算进去，整套配置可能触及百万美元。  这么一看，好像已经和我们这些「个人玩家」没什么关系了。