蚂蚁百灵发布原生混合推理模型Ling-3.0-Flash，小参数对标大模型
蚂蚁百灵用混合注意力和极致稀疏激活，让小模型在推理和Agent任务上媲美大模型，实现高智效比。
蚂蚁百灵推出新一代原生混合推理模型Ling-3.0-Flash，总参数124B但激活仅5.1B，通过混合注意力架构（KDA与MLA交替堆叠）和极致稀疏专家激活（1/64），在推理、长文本等任务上对标2-3倍参数规模的模型，并针对Agent场景优化了自我纠错与长程规划。已上线OpenRouter，限时免费后将开源。
正文摘录
7月24日，蚂蚁百灵正式发布新一代原生混合推理模型 Ling-3.0-Flash。该模型总参数量 124B，单次计算激活 5.1B。在大幅精简体量与降低算力开销的同时，Ling-3.0-Flash 在基础推理、指令遵循及长文本处理等核心指标上，对标甚至超越了参数规模达其 2 至 3 倍的行业领先模型，展现出更高的“智效比”与落地性价比。据了解，该模型已上线 OpenRouter，限时免费一周，之后将正式开源。 作为该版本的重点，Ling-3.0-Flash 针对 Agent 的实际应用场景进行了深度打磨。模型扩展了超 10000 个真实交互训练环境，并优化了复杂任务的自我纠错与长程规划机制。无论是在代码编写、复杂任务拆解，还是多源信息深度调研等场景中，Ling-3.0-Flash 均展现出更强的自主闭环交付能力，解决了传统模型在大任务中容易“跑偏”或断档的难题。 据介绍，实现“小体量、高智能”的关键，源于模型底层计算架构的重新设计。Ling-3.0-Flash 放弃了单纯堆砌参数的思路，从预训练阶段即采用混合注意力架构，以 5:1 的比例交替堆叠 KDA 线性注意力层与 MLA 层，让模型在长上下文效率与模型能力之间实现更优平衡。 此外，Ling-3.0-Flash 将上一代的 Lightning Attention 升级为 KDA（Kimi Delta Attention），在 Delta Rule 的状态更新中引入细粒度对角门控，让模型在处理长文档和代码库时能更精准地记住关键信息。同时，Ling-3.0-Flash 进一步压缩了单次计算的专家激活比例，每个 Token 的专家激活比例由前代的 1/32 进一步压缩至 1/64，并由此带来了更高的“效率杠杆”。 为了让 AI Agent 运行更快、更稳，百灵还为其匹配了配套的工程与协作架构。