K3报告揭示前沿模型需算法与基础设施协同，无秘密配方

转推 @_lewtun: 我们在Hugging Face期刊俱乐部并行阅读Kimi K3技术报告，进行了大规模蒸馏攻击 :) https://t.co/C5H7Ox8Jty 我们的主要收获是，前沿性能背后似乎没有“秘密配方”。相反，K3展示了许多困难的算法和基础设施决策必须协同工作（蒸馏、RL调度、环境、量化、MoE分片等）才能将模型推向前沿。以下是我们学到的：
• 前沿后训练越来越像专家训练后蒸馏。K3在三个领域和三个推理努力级别训练专家，然后使用多教师OPD将生成的九个专家蒸馏回一个检查点。
• 推理努力被视为可训练的能力。从SFT模型估计token预算，分阶段课程从长到短rollout退火，产生低、高、最大努力专家。
• 部分rollout让昂贵的RL基础设施保持忙碌。完成的轨迹可以触发立即更新，未完成的则带入后续迭代并通过优先队列重新排序。每个token的修正有助于控制由此产生的off-policy行为。
• 奖励模型本身就是一个agent。它不依赖于固定的或二元的奖励，而是动态生成任务特定的评分标准并对响应进行评分。
• 环境接口设计为可组合。统一的、白盒抽象允许相同的训练系统在不同的agent框架（如Codex、CC、Hermes）上运行，而不是专门围绕一个。
• 系统工作与算法工作一样有趣。GPU在训练和推理之间动态切换，rollout并发响应KV-cache压力，参考模型可以在CPU上存活直到需要。
• 量化是训练的一部分，而不仅仅是部署。K3对权重和激活使用QAT，同时匹配训练器和推理服务器的量化方案以减少训练-推理不匹配。
• 聊天模板是新颖的，引入了一种可扩展的token标记语言，旨在容纳新的工具和模态，而无需重复设计模板。
• 合成任务生成变得越来越自主。Agent遍历知识图谱并搜索网络以大规模生成训练任务，尽管报告对其集成的某些细节未作详细说明。（这部分非常酷）