京东联合南大提出 Road MOPD，缓解多教师蒸馏的跨领域干扰
多教师蒸馏合版时，教师风格差异大会导致梯度冲突；Road MOPD 用跨教师反馈对齐同一份回答的监督方向，让互斥领域也能共同提升，对做多能力合版的团队有直接参考价值。
把数学、代码、医学等不同领域的专家模型放在一起教一个学生模型，各科目的指导会作用在同一套共享参数上，彼此打架，出现一科进步、另一科退步。京东零售与南京大学提出 Road MOPD：让多位教师同时评价学生的同一份回答，放大方向一致的 token 级监督、削弱分歧信号，再在参数更新前用梯度投影削掉冲突分量。在 Qwen3-4B 上，数学+医学、代码+医学两组高冲突组合均实现双域提升，医学均分最高提高 8.78 个百分点。
正文摘录
.11.08.png)  数学题交给数学老师，代码题交给代码老师，医学题交给医学老师。把各有所长的专家请到一起，就能让同一个小模型学会多种能力吗？ 在多教师在线策略蒸馏（MOPD）中，按领域选择教师只是第一步。不同教师的领域专长、回答风格和推理习惯可能相差很大，但它们的监督最终作用于学生的同一套共享参数。各自有效的指导在联合训练中可能相互干扰，导致一科进步、另一科退步。 这一挑战在真实业务中同样存在。商品理解、素材质检、风控合规等任务的能力合版，也需要协调不同业务专家的指导，让统一模型在吸收业务专长的同时保持通用多模态能力。 针对这一挑战，京东零售 - 视觉多模态与 AIGC 团队联合南京大学提出 Road MOPD，让多位教师共同评价学生的同一份回答，并通过跨教师反馈协调学习过程。具体而言，Road MOPD 增强教师共同支持的学习信号、减弱存在分歧的信号，再在参数更新前削减冲突分量，在减少学习干扰的同时保留目标任务的学习力度。