ATHENA框架将影响函数扩展至十亿参数VLA，实现313倍数据筛选加速
ATHENA用因果影响函数高效筛选机器人训练数据，大幅降低计算成本并提升下游任务表现。
机器人VLA模型训练中，数据质量比数量更重要。ATHENA提出一种高效方法，将影响函数（用于评估训练样本对模型性能的因果影响）扩展到十亿参数级多任务VLA模型，通过Kronecker结构压缩梯度和随机截断加速计算，实现313倍加速，并设计多任务影响交互方案避免数据筛选失衡。
正文摘录
.jpg)  作者团队来自上海交通大学 RHOS 李永露团队、同济大学 GEAI 实验室与上海创智学院，长期关注具身智能领域中的世界模型、数据管理与因果理解等方向。 具身智能正在进入数据 scaling 时代。Vision-Language-Action（VLA）模型让机器人可以从大规模示教数据（demonstrations）中学习更通用的操作策略。但对机器人 VLA 训练来说，数据并不总是越多越好：低质量数据可能会拖累模型性能，而每一条 demonstration 都意味着昂贵的人力采集、机器人运行，以及云端存储和训练成本。 因此，一个问题变得愈发重要：云端数据池中的每条机器人示教轨迹，究竟应该如何量化其价值？ 为回答这一问题，来自上海交通大学、同济大学、上海创智学院、西安交通大学等机构的研究团队提出了 ATHENA：一种面向十亿参数级多任务 VLA 模型的数据筛选框架。该方法将影响函数（Influence Functions）扩展到十亿参数级的多任务机器人 VLA 微调，从因果层面估计每条 demonstration 对下游机器人任务成功率的影响，进而筛选出高价值数据。