港大提出CaRE架构实现300+任务持续学习
CaRE用逐层动态路由MoE突破持续学习可扩展性瓶颈，首次支持300+任务序列，大幅提升长序列性能。
持续学习想让AI像人一样不断学新知识却不忘记旧的，但任务一多就会“灾难性遗忘”。港大CaRE通过双阶段路由混合专家，在每层网络动态选择最相关的历史任务专家，首次将连续学习扩展到300+任务，并构建了含1000类别的长序列评测集OmniBenchmark-1K。
正文摘录
.jpg)  本文第一作者为香港大学计算与数据科学学院博士生娄蒙。 人类可以在一生中持续学习新知识，而不会轻易遗忘已有技能。然而对 AI 模型而言，这恰恰是一道极具挑战性的难题： 每当模型学习新任务时，参数更新往往会覆盖历史知识，产生经典的 “灾难性遗忘” 难题。 持续学习（Continual Learning）正是为突破这一瓶颈而生的研究方向。 其中， 类增量学习（Class-Incremental Learning, CIL） 是一项极具挑战性的持续学习问题： 模型需要持续学习新类别，同时保持对历史类别的准确识别能力。 近年来，借助大规模预训练模型（Pre-trained Model, PTM）的丰富先验知识，CIL 取得了长足进步。然而， 现有方法大多只在极短的任务序列上进行验证 ，例如 5-20 个任务。 一旦任务数量扩展至上百个，性能就会显著下滑甚至崩溃 。真实世界中，一个长期运行的系统往往需要不断地学习新知识新概念，这一鸿沟亟待填补。