Allen AI发布OlmPool研究模型

Allen AI刚刚在Hugging Face上发布了新的OlmPool研究模型。一项7B参数研究揭示了微小的架构选择如何影响长上下文扩展，包含150B token检查点探索不同注意力机制。