Anton提出框架:研究可视为针对属性的SFT,并用于跨领域套利。
Anton 的出色工作提出了一个非常有用的框架:很多研究可以被有效地描述为针对某些属性(如对齐或不对齐属性!)的SFT,这些属性泛化得很好。我们利用这一点在这些领域之间进行“套利”研究。
令人惊讶地未被充分利用的技巧:从一个研究领域关于监督微调(SFT)的工作中吸取教训,并将其应用到其他领域!我们的新论文表明,这是一种富有成效的方式,可以共同改进对齐训练、模型有机体和SFT的玩具模型。https://t.co/Xt7eeXmkgf