蚂蚁发布LLaDA2.2，千亿参数扩散模型进军Agent领域
蚂蚁开源LLaDA2.2，证明扩散模型在Agent任务中可与自回归模型竞争，且速度更快。
扩散模型过去因缺乏序列约束而不适合智能体任务，蚂蚁LLaDA2.2通过Levenshtein编辑（支持增删改查四种原子操作）和基于环境反馈的强化学习L-EBPO，首次让扩散模型在Agent基准上追平自回归模型，且吞吐量提升1.64倍。
正文摘录
这些年但凡叫得上名字的 Agent，从 ChatGPT 到 Claude，底层清一色因果自回归 LLM。 旗下 inclusionAI 团队陆续推出 LLaDA 系列模型，最新开源 LLaDA2.2 ，实现扩散模型首次进入智能体长程任务！ 准确来说，这是一款千亿参数的 MoE 扩散语言模型，原生支持 128K 上下文，也是全球 首个 大规模 Agentic 扩散模型。 更关键的是，它第一次将 Levenshtein 编辑、面向环境反馈的强化学习，以及长上下文工程架构，整合进同一套扩散模型 Agent 系统—— LLaDA2.2 的出现同样有迹可循，从 2.0 时期的规模化尝试，到 2.1 版本的边写边改，再到如今的智能体觉醒。 传统扩散模型则可以同时处理一个 block 中的多个位置，速度是比自回归快了，但代价就是 Token 之间彼此 缺乏严格的序列条件约束 。 放在普通文本生成场景里，这些问题倒不算什么，顶多影响一点可读性，读者看到两句重复的话，笑一笑就算了。 Agent 的输出是要被真实执行的，再小的 bug 也会影响整个流程， 一步错步步错 ，错误会在后续交互中被持续固化成硬约束，最终导致整体目标漂移。 它证明扩散模型并不是只能停留在小参数实验阶段，也能够与 MoE 等架构结合，真正落地工程。 在验证路线可信的前提下，蚂蚁再顺势推舟给出 LLaDA2.1 ，进一步证明扩散模型 边写边改 的可用性。 LLaDA2.1 引入 Token-to-Token 编辑机制，可以在生成过程中判断哪些 Token 应该保留，哪些 Token 需要替换。 但到了 Agent，这样的局部修改还远远不够，它需要的是根本性的结构调整，实现 边行动边纠错 。 如何做到？