8 张 AMD MI355X 部署 Kimi K3，替代 16 卡 B200 方案

AMD 在 MI355X 上单节点部署了 Kimi K3，靠大显存和成本优势挑战 NVIDIA 的双节点方案，软件兼容性也比预期顺利。

Wafer AI 在 AMD MI355X 上部署了 Kimi K3——一个拥有 2.8 万亿参数、权重就需要 1.5 TB 显存的大模型。原本需要 16 张 NVIDIA B200、两台服务器才能跑，现在 8 张 MI355X 一台服务器就装下了，吞吐量达到 952 Token/s，是 B200 双节点单节点平均值的 3.8 倍。更意外的是，AMD 的软件栈 ROCm（AMD GPU 的计算平台）这次基本开箱即用。