Gemini预训练负责人预测预训练将向长上下文创新

Google DeepMind的Gemini预训练负责人Sebastian Borgeaud表示，他预计未来一年内，预训练将出现重大创新，旨在提高长上下文能力效率并进一步扩展模型的上下文长度。他还提到，他们最近在注意力机制方面取得了一些非常有趣的发现，这可能会重塑未来几个月的研究方向，他个人对此感到非常兴奋。