马普所联合清华大学推出d-OPSD，首个扩散语言模型在线自蒸馏方法
d-OPSD通过将学生自我未来轨迹作为教师信号，在扩散语言模型上实现了高效在线自蒸馏，效率远超强化学习。
d-OPSD是首个针对扩散大语言模型（dLLMs，一种非自回归生成模型）的在线自蒸馏范式。它摆脱了对参考解和独立教师模型的依赖，让学生模型自己采样“未来”轨迹作为教师信号。实验显示，仅需RL十分之一的训练步数，即可在数学推理任务上达到或超越RL效果，且避免了传统方法中教师依赖参考解导致的幻觉问题。
正文摘录
你的自教师模型还在用参考解吗？马普所联合清华大学推出 d-OPSD，第一个针对扩散语言模型的在线自蒸馏学习 来源：机器之心 .jpg)  本文由马普所联合清华大学等机构共同完成。第一作者为清华大学硕士生罗一夫，研究方向为生成模型的后训练，尤其是大语言模型的蒸馏学习与扩散模型的强化学习后训练，目前已经在 NeurIPS、ICML 等顶级国际会议上以第一作者身份发表多篇论文。通讯作者为马普所首席研究员刘世伟博士。 在线自蒸馏学习（On-policy Self-distillation, OPSD）已经在大语言模型领域广泛流行。作为一种新兴的后训练手段，OPSD 凭借密集监督信号的独特优势，展现出超越强化学习（RL）的后训练效果，尤其是训练效率比 RL 高出数倍。但对于扩散大语言模型（diffusion Large Language Models, dLLMs），OPSD 的应用仍是空白，有待探索。 另一方面，目前针对（自回归）大语言模型的 OPSD，普遍采用将参考解作为特权信息加入教师模型 prompt 的范式。这种方式简单直接，但天然具有缺陷。