为什么我打不开抽屉？缓解零样本组合动作识别中的对象驱动捷径

TL;DR RCORE 通过共现先验正则化与时间顺序约束，抑制零样本组合动作识别中的对象驱动捷径，显著提升未见动词-对象组合的泛化能力。

问题

问题背景

零样本组合动作识别 (Zero-Shot Compositional Action Recognition, ZS-CAR) 旨在让模型识别训练时未见过的 动词-对象 组合，例如 “打开抽屉” 若训练时只见过 “打开门” 和 “推抽屉”。该任务检验模型是否真正理解动作的语义组成，而非记忆固定搭配。

现有方法局限

主流 ZS-CAR 方法多基于分解后的视觉特征或联合嵌入空间，但普遍存在 对象驱动捷径 (object-driven shortcuts)：模型直接根据物体标签预测动词，而忽略视频的时序运动信息。这源于两个技术缺陷：

• 稀疏的组合监督：训练集中大部分组合只出现少量样例，模型难以学到可靠的动词-对象联合表征，转而依赖高频共现模式。
• 词-物学习不对称：对象识别通常比动词识别更容易（单帧可判），模型会倾向于先用对象类别“锚定”结果，再猜测动词，导致对未见组合的泛化崩溃。 现有方法未显式抑制这种捷径，其诊断指标显示 过拟合于训练共现频率，对未见过组合的动词预测几乎随机。

为什么这个问题难且重要

动作识别本质上依赖时序建模，但真实数据分布高度偏斜——某些动词几乎总与特定对象共现（如 “切” 与 “菜”），使模型极易捕获虚假相关性。解耦动词与对象要求模型对细粒度时序线索（如动作的顺序、持续时间）敏感，而当前的大规模视频预训练模型仍难以稳定提取此类特征。业界关注 ZS-CAR，因为它直接映射到 开放世界视频理解、人机交互 等场景，系统必须应对未见过的动作组合，不能简单套用训练统计先验。若模型仅由对象驱动，一旦物体被遮挡或类别歧义，系统将完全失效，这在实际部署中不可接受。

行业类比

类似 视觉问答 (VQA) 中模型通过语言先验（如总回答 “是”）捷径绕过图像理解，ZS-CAR 中的对象捷径也是虚假依赖，阻碍模型学到真正可迁移的动作概念。

核心洞察

• 本文首次系统诊断并量化了零样本组合动作识别（ZS-CAR）中的物体驱动捷径（object-driven shortcuts）——模型倾向于利用物体类别而非时间信息来预测动词。这一洞见的独特性在于：不同于以往工作仅关注全局准确率，作者通过提出的诊断指标揭示模型过度拟合训练集中的动词-物体共现模式，导致对未见组合的泛化能力显著下降，并从稀疏组合监督与学习不对称性的角度解释了捷径形成的原因。
• RCORE 通过共现先验正则化（CPR）将训练中常见的动词-物体对作为硬负样本，显式地抑制模型对物体类别的依赖。与传统数据增强或正则化方法不同，CPR 直接针对组合捷径，为未见组合提供额外的监督信号，迫使模型从时间证据中学习动词，而非利用统计相关性。此外，时序顺序正则化（TORC）强制模型对帧顺序敏感，提升动词表示的时间基础性，与多数方法中忽略时序或仅用平均池化的做法形成对比，从而共同提升组合泛化能力。

方法

输入与任务定义

ZS-CAR 任务中，模型接收视频帧序列和已知的物体标签，需预测动词类别，形成完整的 动词-物体 组合。训练集只包含部分组合，测试时需泛化到未见过的组合，因此模型不能仅依赖物体标签来推断动词（即 物体驱动捷径）。

关键模块：CPR 与 TORC

CPR (Co-occurrence Prior Regularization)：

• 针对训练中频繁共现的动词-物体对容易主导预测的问题，CPR 显式地为未见组合提供监督信号。
• 将训练数据中高频搭配的物体类别作为 hard negatives，在未见组合的上下文里抑制模型对常见共现先验的过拟合。
• 实际操作中，利用物体标签构建正负样本对，通过 contrastive loss 强制模型为未见组合学习更具判别力的动词表征。

TORC (Temporal Order Regularization for Composition)：

• 物体驱动捷径的根源之一是模型忽略时序运动线索，只根据单帧物体外观做判断。
• TORC 输入正确时序的视频片段和对应打乱帧序的负样本，要求模型区分两者，迫使动词表征必须捕捉时序敏感的动作模式。
• 这一过程不依赖额外标注，通过自监督方式让动词分支学习到真正的运动信息。

模型架构与训练

• 整体基于双流结构：物体分支使用物体标签固定 embedding，动词分支处理视频特征。
• 训练时联合标准分类损失、CPR 的对比损失和 TORC 的二分类损失，平衡组合约束与时序约束。
• 推理时，模型对给定物体标签和视频输出动词概率，组合得分用于最终预测。

与同类方法的差异

现有 ZS-CAR 方法大多依赖外部知识图谱或大规模 VLM 进行概念对齐，而 RCORE 直接从诊断出的模型缺陷出发，通过正则化手段内在地缓解物体驱动捷径，无需外部知识注入，为组合泛化提供了更简洁高效的解决方案。

实验

实验设置

在两个代表性的 ZS-CAR 基准上评估：Sth-com（基于 Something-Something V2 的动作时序理解）和 EK100-com（基于 EPIC-KITCHENS-100 的日常动作），均按动词-物体组合划分为 seen/unseen 子集。模型使用 ViT-B/16 视觉编码器与冻结的 CLIP 文本编码器，训练 50 个 epoch，batch size 64，采用固定帧采样 8/16 帧。对比方法包括 CLIP 零样本基线、CoOp、ActionCLIP、CLIP-FO 等，重点考察 unseen 组合的 top-1 准确率与 harmonic mean。

关键发现

对象驱动捷径是 ZS-CAR 的主要失效模式：基线模型对训练共现模式严重过拟合，仅依赖物体类别推断动词（如“打开抽屉”错误预测为“关闭”），而对时序线索利用不足。提出的 RCORE 通过两项正则化显著缓解该问题：

• CPR（共现先验正则化）将高频共现对作为 hard negative，直接注入 unseen 组合的监督信号；
• TORC（时序顺序正则化）强制模型区分帧序敏感的动词，使动词表征具备时间 grounding。
  诊断指标（如 shortcut score、macro compositional gap）一致下降，表明模型更依赖时空证据而非捷径。

基线对比深度解读

相比最强基线 CLIP-FO（已用分解式文本嵌入），RCORE 在 Sth-com unseen top-1 上提升 +3.4%、harmonic mean 提升 +1.2%，在更难且更真实的 EK100-com 上 unseen 增益达 +4.0%。这源于 CPR 显式消除共现偏置与 TORC 弥补动词-物体学习不对称的协同——CLIP-FO 仅改进了文本侧，训练时仍受限于稀疏组合监督，未能避免捷径。消融实验表明，移除任一组件都会导致 unseen 性能急降，且 shortcut 指标回升，验证了设计必要性。RCORE 使模型在依赖时序证据（如区分“拿起”和“放下”同一物体）的样本上提升尤为明显，展示出真正的组合泛化能力。

行业影响

落地场景

零样本组合动作识别 (ZS-CAR) 直接服务于需要对视频中人与物交互进行细粒度理解的业务，尤其是 动词-对象组合 (verb-object pairs) 变化丰富的场景。典型产品/业务包括：

• 智能安防与工业监控：识别“打开柜门”、“关闭阀门”等操作，检测违规或异常行为；
• 视频内容平台：对海量 UGC 视频自动生成结构化标签，支持“切菜”、“打开冰箱”等组合查询；
• 电商与直播电商：分析主播演示商品时的动作，例如“涂抹口红”、“旋转手表”，辅助自动打标或精彩片段提取；
• 智能家居与具身智能：让机器人理解“拉开抽屉”、“按下开关”等指令中的动态组合，提升复杂任务执行能力。

商业价值

降本方面，模型无需为每一种“动词-对象”组合采集标注数据，显著降低长尾组合的数据成本；增收方面，更准确的视频标签提升推荐/搜索的召回精度，直接带动内容消费或商品转化；体验提升则体现在交互自然度上，例如智能音箱通过摄像头判断用户是想“拿起杯子”还是“推走杯子”时，可减少误判，从而提升用户粘性。RCORE 通过 Co-occurrence Prior Regularization (CPR) 和 Temporal Order Regularization (TORC) 抑制对象驱动的捷径，使模型更依赖时序动词线索，提高了对 未见组合 (unseen compositions) 的泛化性，这意味着系统上线后在遇到新动作时具备更强的鲁棒性，减少了人工干预和模型再训练的频率。

与现有产品/工作流的接口

RCORE 可作为 视频理解流水线中的识别模块 直接替换或增强现有组件。典型的集成方式：

• 输入：已有视频帧或片段特征（如 I3D、VideoMAE 等 backbone 提取的特征）；
• 输出：组合动作分类分数或 verb/object 分离表示，供下游任务使用；
• 训练：可与现有 ZS-CAR 损失函数（如组合损失）结合，通过正则化项简单添加，无需改动整体架构；
• 部署：在 ONNX 或 TensorRT 环境转换后，作为实时推理服务的一环，与对象检测、场景理解模块并行运行。

具体落地案例

1. 短视频平台内容安全审核：平台需实时检测“抱起宠物”、“抛掷物品”等特定动作。传统模型可能因为看到“宠物”对象就预测“抱起”，忽略实际动作是“抚摸”。RCORE 通过 TORC 强化时序顺序，可区分“先抱起后放下”与“持续抚摸”，降低误报，避免对内容的错误打压或漏审。
2. 智能零售货架分析：在无人商店中，摄像机需识别客户是否“拿起商品”或“放回商品”。商品种类繁多，训练时难以覆盖所有 verb-object 组合。RCORE 利用 CPR 将频繁共现的组合（如“拿起饮料”）作为硬负例进行正则化，防止模型仅凭对象类“饮料”就输出“拿起”，而是真正分析手部动作，从而提高新上架商品的识别准确率，减少偷窃与结算错误。

局限

• CPR 需要预定义频繁共现先验作为硬负样本，这严重依赖训练集统计或外部知识，且对数据分布敏感。切换应用场景时，需重新定义先验，否则可能引入错误偏置，限制了方法的可移植性和自动化程度。
• CPR 显式监督未见组合，实际实现中需合成未见组合标签或使用部分标注，这偏离了严格零样本设定的初衷，并可能带来数据泄漏风险，增加了该方法在完全无标签场景下的部署难度。
• TORC 强制时间顺序敏感，要求提供动作起始/结束等细粒度时序标注，多数粗粒度动作识别数据集并不具备，从而引入了额外标注开销。此外，对于强调状态持续而非顺序变化的动词（如“保持”、“静止”），时序正则化可能难以奏效，甚至会误导模型。