RoMA 轻量微调路由器提升 MoE 模型泛化

用 RoMA 为你的 MoE LLM 提速

我们提出 RoMA，一种通过将路由权重与任务嵌入对齐来显著提升 MoE LLM 泛化能力的新方法。仅通过轻量级微调路由器即可缩小 5-10% 的性能差距。