清华与趋境科技提出 KT-FT：让 CPU 直接参与 MoE 微调计算
微调 MoE 时搬权重的耗时比直接在 CPU 上算还久，于是把专家计算交给 CPU、注意力留给 GPU，千亿参数模型微调吞吐提升 2.5～21.2 倍。
超大 MoE 模型微调时，主流做法是把专家权重存在 CPU 内存里、再经 PCIe 搬到 GPU 上算，结果搬运时间常常比计算还长。清华 MADSys 实验室与趋境科技联合 LlamaFactory 提出 KTransformers-FineTune，让 CPU 留在主存里直接算专家、GPU 只算注意力，吞吐达到传统卸载范式的 2.5～21.2 倍。
正文摘录
.jpg)  从 DeepSeek-V4 到 Qwen-3.8、Kimi-K3、GLM-5.3，每⼀次超⼤模型的开源都带来性能上的巨⼤跃升。然⽽，随着模型规模越来越大，多数研究者与开发者只能尝试调用 API，无法在资源受限条件下进行微调，这进一步限制了大家探索前沿模型的特性，也难以把他们适配到自己的业务任务中。为降低 GPU 显存需求，之前的工作把 CPU 和 GPU 搭配起来，用容量更大的 CPU 内存存储专家权重，再通过 PCIe 搬到 GPU 上计算。这种办法能够让模型装得下了，但是微调速度很慢，效率难以达到大家的使用预期。 这次， 在清华大学 MADSys 实验室、趋境科技主导下，我们提出 KTransformers-FineTune（KT-FT），并联合知名开源项目 LlamaFactory 团队一起，打造用户友好、易用的开源生态 。KT-FT 通过 CPU 与 GPU 协作，吞吐达到传统卸载范式的 2.5～21.2 倍。同时，我们也坚持全面开源，为社区、学界和业界提供了低成本微调 - 推理方案闭环，实现 LoRA 微调和推理可以在同等硬件条件下一键执行。 之前微调中的 GPU/CPU 协作的工作主要都在围绕搬运权重的范式来思考怎么进一步优化，希望用 GPU 计算时间更多的掩盖 PCIe 搬运。可 MoE 的稀疏计算耗时很短，根本盖不住大规模权重的传输。