LongCat-2.0

大家好！

LongCat-2.0 是一个 1.6T 参数的 MoE 模型，每个 token 大约有 48B 活跃参数，支持 1M 上下文，并在 MIT 许可下开放权重。

但它的训练并非采用常规的 Nvidia 主导方式。整个训练过程基于 AI ASIC 超算集群，在超过 35T token 的数据上进行，没有发生过回滚或不可恢复的 loss 尖峰。

训练一个万亿级模型本身就已经很难了。能让它在替代硬件上稳定运行，可能才是更有趣的地方 🤔

在 ASIC 超算集群上“没有回滚，没有不可恢复的 loss 尖峰”这一说法，比原始参数数量更让我信服。替代硬件训练通常就是在这里悄然失败，而不是在人们后来看到的基准测试中。在我把智能体管线押注于此之前，有一件事想了解：既然它集成了 Claude Code 和 OpenClaw，ASIC 训练路径与典型的 bf16 GPU 运行相比，是否改变了数值格式？如果是，那么当你量化为推理时，是否会出现任何异常，还是说它在那时表现得像其他任何 MoE checkpoint 一样？

热烈祝贺发布！本地测试模型是我目前工作流的重要组成部分，所以多一个重度推理、开放权重的选项真是太棒了。我很好奇——当在标准硬件（比如 48GB Mac）上最大化上下文窗口时，prompt caching 在首次 token 时间（Time To First Token）方面表现如何？期待进行基准测试！

LongCat 如何决定对话中哪些部分是最重要的并随时间保留？

在 ASIC 超算集群上稳定运行且没有不可恢复的尖峰，这才是真正令人印象深刻的部分，比参数数量更甚。对于智能体使用，我关心的指标是长期任务执行一致性，而不是单轮工具准确性：在我们的循环中，模型在工具调用第30次时通常已经忘记了它在第5次调用时同意的约束，而1M上下文有助于回忆，而不会阻止指令衰减。智能体后训练的目标是保持跨多次工具调用的计划一致性，还是主要关注单次工具调用正确性？

560B MoE 配置在较小硬件上进行微调时实际表现如何？还是说只有通过美团自己的基础设施运行才实用？