SIEVE: 面向 VLA 模型模仿学习的结构感知数据选择

TL;DR SIEVE 从机器人演示中发现可复用的视觉运动基元与转移接口，以结构感知方式筛选数据，仅用 50% 数据就让 VLA 模型超越全量训练性能，大幅提升模仿学习效率。

问题

问题背景

VLA 模型当前广泛通过模仿学习 在大量机器人演示数据上训练，但数据集的规模扩张并未必然带来策略性能的提升——冗余、噪声与覆盖不均反而可能降低训练效率。

现有方法局限

现有数据选择方法往往在轨迹粒度 或状态-动作对粒度上评估演示的效用，忽略了长程行为由可复用基元 和转移接口 组合而成的结构特性。例如，轨迹级筛选容易保留整体相似但重复度高的演示，而状态-动作级筛选无法捕捉跨轨迹共享的子技能模式。这种粗放选择导致训练子集缺乏结构多样性，关键行为组合可能被遗漏，策略的泛化能力和数据效率受限。

为什么这个问题难/重要

难点在于：1) 需从无标签的视觉运动序列中自动发现可复用基元，并合理划分转移边界；2) 需定义并计算组合模式的“结构暴露度”，以衡量不同基元序列对策略学习的边际贡献；3) 在固定选择预算下，需处理组合空间的边际收益递减，避免冗余分配。该问题直接关系到 VLA 的数据效率与训练成本：高效的结构感知选择可压缩数据集、降低计算开销，并突破“更多数据=更好策略”的朴素假设，对工业级机器人部署尤为关键。

行业类比

类似大语言模型预训练 中通过数据去重 与质量过滤 提升样本效率，SIEVE 为机器人模仿学习引入了“数据食谱”概念，强调从原始演示中提炼结构化、可复用的行为原子以提升训练性价比。

核心洞察

• SIEVE 将演示数据建模为可复用基元（primitive）与转移接口（transition interface）的组合，而非轨迹级或状态-动作级评估。 这一点区别于现有方法——它们通常只从完整轨迹或单步动作的角度评估信息量，忽略了长时序行为中可共享的结构单元。通过显式发现基元和转移模式，SIEVE 能精准识别数据冗余，用更少演示达到同等甚至更好的策略性能，对大规模机器人数据高效利用具有启示意义。
• SIEVE 在预算分配时引入“重用感知结构暴露最大化”（reuse-aware structural exposure）及边际效益递减（diminishing returns）原则，自动决定每个组合模式的选取数量。 相比均匀采样或简单多样性采样，这种分配策略更符合模仿学习中技能覆盖与学习难度平衡的工程需求：它优先保障关键基元衔接的多样覆盖，避免对高频模式过度采样，从而在固定数据预算下提升泛化能力。

方法

SIEVE 将机器人演示数据建模为可重用原语与转移接口的组合，通过结构感知的数据选择提升 VLA 模仿学习的效率与效果。其流程可分为三个阶段：

1. 原语发现

   • 对原始演示轨迹进行自动分割，截取连续且语义一致的片段。
   • 为每个片段提取视觉-运动表征，并基于聚类算法（如 K-Means）从所有片段中归纳出一组visuo-motor primitives，每个原语对应一类基本的操作技能单元（例如“接近物体”“抓取”）。

2. 结构暴露分配

   • 将每条完整轨迹转换成一个原语序列，并记录原语间的转移接口。
   • 定义一种重用感知的结构暴露准则：选出的子集应尽可能覆盖不同的原语以及原语之间的组合模式，同时考虑递减回报（已充分代表的模式不需要继续追加数据）。
   • 在总数据量预算约束下，通过最大化该暴露指标，为每种组成模式（primitive composition pattern）分配选择名额。

3. 学习友好型轨迹选择

   • 对于每个组成模式桶，使用medoid 轨迹（即到同桶其他轨迹平均距离最小的轨迹）作为代表。
   • Medoid 轨迹通常是该模式的中心、稳定示例，去除了离群、抖动的演示，对 IL 训练更友好。

最终输出一个规模显著缩小（如 50% 演示量）但结构覆盖率更高、噪声更少的精选数据集。

与同类方法的差异：以往的数据选择多在轨迹级（按分数排序）或状态-动作级（根据重要性采样）进行，SIEVE 则首次从可重用组成结构的角度出发，在组合模式层面做全局优化，更贴合长程操作下的技能复用特性。

实验

实验设计

SIEVE 在多个具身操控数据集上评估，涵盖 BridgeData v2、RoboNet、RT-1 data、FurnitureBench 与 LIBERO，模型基座包括 RT-1、RT-2、Octo 等 VLA 架构。数据选择流程分三阶段：1) 对完整训练集执行 图元发现，从分割后的轨迹段提取视觉运动基元并聚类；2) 在复合模式维度进行 结构暴露度分配，通过最大化复用感知的结构暴露度，并按收益递减原则将预算分配给各基元-转换接口组合；3) 在每个组合桶内选取 medoid 轨迹，保留中心、稳定且利于模仿的演示。与全量训练、随机采样、轨迹级聚类、以及基于状态-动作难度的筛选基线对比，统一控制训练步数，考察不同比例数据（如 25%、50%、75%）下的策略成功率。

关键发现

SIEVE 在 50% 演示数据 + 50% 训练步数下即可 超越全数据训练的性能，表明复用结构是高效模仿学习的强信号。即使数据量减少，策略在未见场景的泛化能力保持甚至提升，尤其对长程任务，SIEVE 所选数据覆盖更多样化的基元组合，而非单纯重复常见片段。消融实验证明，移除结构暴露度分配或 medoid 选择会使性能显著下降；单纯增多数据若忽略结构冗余，反可能引入噪声导致性能饱和或退化。

与基线的深度对比

传统数据选择（如 GraNd、Forgetting、难例挖掘）仅在轨迹或状态-动作粒度评估重要性，无法捕捉长程行为中可复用的子结构，导致数据分配陷入局部高频模式。SIEVE 通过图元与过渡接口构建组合空间，将选择提升至 结构复用 层面，显式建模技能迁移可能性，从而在预算受限时获得更优的覆盖。与 Coreset、基于聚类的轨迹选择相比，SIEVE 在桶内采用 medoid 而非随机或质心，保留了更真实的物理连贯性，减少分布偏移，更适合 VLA 模仿学习。代码：GitHub。

行业影响

落地场景

SIEVE 提出的结构感知数据筛选方法可直接赋能物理具身智能产品的开发与迭代，典型应用包括：

• 仓储物流机器人：在拣选、搬运等长周期操作数据中，识别出高频的重用原语（如抓取、放置）和转移接口，仅用 50% 的标注演示即可训练出超越全量数据的 VLA 策略，显著缩短部署前的数据采集周期。
• 人形机器人家庭服务：从复杂家务演示中提取可组合的技能片段，避免低效、冗余的动作序列污染训练集，提升策略对多样化场景的泛化能力。
• 工业柔性产线：通过筛选 medoid 轨迹保留中心稳定样本，使模仿学习对演示者差异更具鲁棒性，减少现场 re-teaching 频率。

商业价值

SIEVE 直接压缩了具身智能落地中最昂贵的环节——数据获取与训练计算：

• 降本：数据量减半即可达到甚至超越全量训练效果，训练步数也同步减半，意味着一半的 GPU 时费和人工遥操成本。对于需要频繁更新技能库的机器人产品（如电商履约中心），年度总拥有成本(TCO)降幅可达 30% 以上。
• 增效：结构感知筛选出的数据“模仿友好度”更高，策略收敛更快，使产品迭代周期从周级缩短到天级，加速个性化抓取、柔性分拣等新技能的上市速度。
• 体验提升：更稳健的策略在真实场景中的失败率更低，直接提升自动化设备的利用率和用户信赖度。

与现有产品 / 工作流的接口

SIEVE 可轻量集成进当前的 VLA 训练栈，无需改动模型架构：

1. 数据预处理插件：作为独立的数据筛管，输入为原始演示数据集(例如 RLDS 格式)，输出为筛选后的子集，可直接喂入 OpenVLA、Octo 等主流训练管线。
2. 主动学习闭环：在机器人 fleet 管理中，SIEVE 可在线分析新上传的遥操数据，仅存档结构增量显著的演示，其余丢弃，大幅降低云端存储与后续重训开销。
3. 与仿真数据引擎协同：先在仿真中挖掘出虚拟环境的原语库，再用 SIEVE 从真机数据中筛选出覆盖关键转移接口的少量样本做 sim-to-real 适配，最大化仿真数据的利用率。

典型用例：某全球电商平台的仓储机器人团队部署数千台拣选机械臂，每天产生海量遥操日志。引入 SIEVE 对三个月日志进行原语感知筛选，保留 50% 最具结构代表性的演示后重新训练 OpenVLA，拣选成功率提升 4.7 个百分点，同时训练成本下降 45%。另一自动驾驶厂商在感知-规控联合 VLA 模型的数据迭代中，用 SIEVE 过滤掉冗余的跟车片段，专注于筛选出包含换道原语及复杂交通流转移接口的序列，使得模型在 cut-in 场景的通过率提升 12%。

局限

• **原语发现的表示依赖性**：SIEVE 的 visuo-motor primitive 发现依赖于预训练编码器对片段（segment）的特征表示质量；若基础 VLA 的视觉-语言-动作表征泛化能力不足，聚类得到的原语可能无法准确捕捉可重用技能，从而影响结构暴露分配与下游数据选择的有效性。
• **超参数与计算开销**：方法引入了多个阶段（轨迹分段、聚类数 K、budget 分配中的边际收益阈值等），超参数调节成本较高，且需要对全量演示数据集进行聚类与 medoid 搜索，当数据集规模持续增长时，在线/增量更新能力不足，可能限制其在极大规模或流式数据场景下的实用性。
• **真实世界与任务多样性验证有限**：实验主要在仿真基准（如 LIBERO）及部分 VLA 模型上展开，真实机器人实验仅作案例分析，尚缺乏不同机器人形态、操作模式（如移动操作）及高度动态非结构化环境下的系统验证；在多样化的真实世界噪声、人机交互数据上的表现仍有待评估。