王琰发布 TraceForge:用自生成思维链替代蒸馏
不依赖闭源思维链,让模型自己生成推理轨迹来训练小模型,性能反超蒸馏 Claude 的结果,给开源追赶提供了一条合法路径。
闭源厂商正收紧思维链(模型给出答案前的推理过程)的输出,蒸馏(用强模型的输出训练小模型)这条路越来越走不通。王琰发布 TraceForge 技术报告:不要老师的推理过程,改用同族模型自己写的思维链,配合判别器做对抗训练,在代码基准上反超直接蒸馏 Claude 的结果。
正文摘录
.jpg)  一个作者、一份技术报告,把整个行业最贵的一道护城河,变成了一个可以绕过去的工程问题。   先给一张图。两条实线是我们用原生思维链训出来的模型,颜色对应不同的老师(Claude 的 Fable 5 与 GPT-6.1-SOL);