动态

Meta 发布 Llama 4 系列模型,采用 MoE 架构,支持多模态

Meta 发布 Llama 4 系列模型,采用 MoE 架构,支持多模态
Ahmad Al-Dahle
介绍我们首套 Llama 4 模型!

我们一直在努力对 Llama 系列进行彻底重新设计。我非常兴奋今天与全世界分享,并标志着 Llama 家族另一个重要里程碑,因为我们发布了 Llama 4 系列中的首批开源模型 🦙。以下是一些亮点:

📌 Llama 系列经过重新设计,采用最先进的混合专家(MoE)架构,并原生支持多模态训练。我们推出 Llama 4 Scout 和 Llama 4 Maverick,并预览 Llama 4 Behemoth。

📌 Llama 4 Scout 是性能最高的小型模型,拥有 170 亿激活参数,16 个专家。它极其快速、原生多模态且非常智能。它实现了业界领先的 1000 万以上标记上下文窗口,并且可以在单个 GPU 上运行!

📌 Llama 4 Maverick 是其类别中最佳多模态模型,在广泛报告的基准测试中击败 GPT-4o 和 Gemini 2.0 Flash,同时在推理和编码方面与新的 DeepSeek v3 结果相当,而激活参数不到一半。它提供了同类最佳的性能成本比,实验性聊天版本在 LMArena 上获得 ELO 1417 分。它还可以在单个主机上运行!

📌 预览 Llama 4 Behemoth,我们迄今为止最强大的模型,也是世界上最智能的 LLM 之一。Llama 4 Behemoth 在多个 STEM 基准测试中优于 GPT4.5、Claude Sonnet 3.7 和 Gemini 2.0 Pro。Llama 4 Behemoth 仍在训练中,我们很兴奋地分享更多细节,即使它仍在进行中。

非常感谢所有发布合作伙伴(完整列表见博客),帮助我们向各地的开发者提供 Llama 4,包括 @huggingface、@togethercompute、@SnowflakeDB、@ollama、@databricks 等 👏 这只是开始,我们还有更多模型即将推出,团队正在努力工作中——敬请期待 Llama 4 Reasoning 😉

几周前,我们庆祝了 Llama 下载量超过 10 亿次。Llama 4 展示了我们对开源 AI、整个开源 AI 社区的长期承诺,以及我们坚定不移的信念:开放系统将产生最佳的小型、中型和即将到来的前沿模型。没有全球开源 AI 社区,Llama 将什么都不是,我们已准备好与你们一起开启这一新篇章。🦙

在此处阅读有关发布的更多信息:https://t.co/7mbK3uggjO,并立即在我们的产品中试用。
动态Ahmad Al-Dahle2025-04-05原文

相关内容