提出端到端测试时训练,模型测试时从上下文持续学习,压缩长上下文用于代理和机器人。
我们的新论文《端到端测试时训练用于长上下文》是语言模型持续学习的一步。我们引入了一种新方法,模糊了训练和推理之间的界限。在测试时,我们的模型使用与训练相同的下一个词预测目标,从给定上下文中继续学习。通过这种端到端目标,我们的模型可以将大量上下文高效压缩到权重中,并仍然有效使用,为代理和机器人中的复杂推理和应用程序解锁极长的上下文窗口。论文:https://test-time-training.github.io/e2e.pdf 代码:https://github.com/test-time-training/e2e