动态

MiniMax-01获Hugging Face 2025年Top 10论文,介绍线性注意力与MoE优化。

MiniMax-01获Hugging Face 2025年Top 10论文,介绍线性注意力与MoE优化。
MiniMax (official)
很高兴看到MiniMax-01被选为Hugging Face 2025年最受好评的十大论文之一!

MiniMax-01基于我们的信念构建:2025年是Agent系统的突破年。它代表了我们向真正复杂Agent所需基础能力迈出的第一步。

在MiniMax-01中,我们采取了大胆激进的步骤:首次引入Lightning Attention并推动线性注意力的高效扩展。这项工作表明,经典的Transformer架构并非唯一可行的前进道路。

我们还通过高度优化的MoE全到全通信、长序列处理改进和针对线性注意力的高效底层内核实现,重建了训练和推理栈。

凭借这些架构创新、效率优化、集成集群设计以及大量计算复用,MiniMax能够以最低价格范围提供业界领先的文本和多模态理解API。

虽然M系列采用了不同的架构,但我们在MiniMax-01中学到的一切都已倾注到M2.1中。没有它,我们不会有今天的成就🫡

展望2026年,我们将继续创新,让智能触手可及!
DailyPapers
是时候看看@huggingface 2025年每日论文总结了!🎁

以下是获得最多投票的十大论文:

- @gensynai的高效LLM后训练
- Transformer与大脑模型之间的缺失环节
- @jm_alexia的微型递归模型
- https://t.co/1F8xCpJtKk的技术报告
动态MiniMax (official)2025-12-31原文

相关内容