新在线策略蒸馏法:外推 RL 表征残差,让学生模型追平甚至超越教师

RT @HuggingPapers:教师是方向,而非终点

新的在线策略蒸馏方法,通过外推 RL 引发的表征残差,让学生在四组模型配对中追平甚至超越教师。代码与 checkpoint 计划发布。https://t.co/GTrcrWcz8o