推文讨论模型优化、蒸馏及架构改进

优化

具体提到稳定性、信号传播和优化是改进的三个方向。对于小模型，使用蒸馏，提及每个token仅存储教师logits作为"k" logits。我认为这暗示离线蒸馏，因此采用教师强制（次优，但基础设施更简单）。