动态

ylecun 发布 MobileLLM-R1 小模型,性能媲美大模型

Yuandong Tian
我们发布了小规模推理模型 MobileLLM-R1 (0.14B, 0.35B, 0.95B),仅用 4.2T 预训练 token(Qwen3 的 10%)从头训练,推理性能与 Qwen3-0.6B 相当。感谢三位核心贡献者 @zechunliu, @erniecyc 和 Changsheng Zhao!我们的研究开辟了全新可能:或许不用从大模型蒸馏,而是直接用合适配方从头训练小模型。
Zechun Liu
谢谢 @_akhaliq 分享我们的工作!MobileLLM-R1 标志着一个范式转变。传统观点认为推理能力只有在大量数据训练后才能出现,但我们证明并非如此。仅用 4.2T 预训练 token 和少量后训练,
动态Yuandong Tian2025-09-15原文

相关内容