蚂蚁开源全球首个Agentic扩散模型LLaDA2.2
LLaDA2.2通过Levenshtein编辑赋予扩散模型动态长度调整能力,使其首次胜任长程Agent任务,性能显著提升。
传统扩散语言模型在Agent任务中因无法插入或删除token而受限。蚂蚁团队的LLaDA2.2首次将Levenshtein编辑(支持保留、替换、删除、插入四种操作)集成进扩散模型的去噪过程,使其具备动态自我修正能力,在SWE-bench上提升8.6个百分点。
正文摘录
全球首个大规模 Agentic 扩散模型来了! 编辑|冷猫 还记得「苦涩的教训」(The Bitter Lesson)吗? 在人工智能的发展史上,长期取得决定性胜利的,往往不是人类精心编写了大量专业知识的系统,而是那些能够随着算力、数据和搜索规模不断扩展的通用学习方法。 苦涩的教训提醒我们: 不要把人类解决问题的方式,认为是智能系统唯一正确的计算方式。 语言模型并不必须是自回归的。扩散式语言模型早就成为了一个研究热点。通过并行去噪、全局修订和迭代生成,提供了另一种可能。 而扩散语言模型的全新里程碑已经出现! 蚂蚁团队正式发布并且开源 LLaDA2.2,全球首个大规模 Agentic 扩散模型 ,让扩散语言模型的技术路线再进一步,正式迈入智能体时代。  为什么在此之前,扩散语言模型不能成为主流路线呢? [我们曾经报道过一篇研究工作](https://mp.weixin.qq.com/s?biz=MzA3MzI4MjgzMw==&mid=2651016595&idx=2&sn=2a4e77559f36d3aaeb18e9c3b1f7ab98&scene=21wechatredirect):《The Bitter Lesson of Diffusion Language Models for Agentic Workflows》。