AI Wizards at EXIST 2026: 面向模因多模态性别歧视识别的分层软标签学习

TL;DR 将多模态迷因性别歧视识别建模为分层条件软标签预测，用固定视觉语言嵌入和轻量 Gated MLP，结合 KL 散度与同方差不确定性加权训练，在 EXIST 2026 任务 2.3 获第一。

问题

问题背景

多模态迷因中的性别歧视识别已成为内容安全领域的研究焦点，尤其在社交媒体中，讽刺、幽默与图文交互使得有害语义高度隐含，传统单模态或硬标签方法面临巨大挑战。

现有方法局限

• 硬标签与标注者分歧忽略：大多数方法将标注离散化为二元或多元硬标签，丢弃了标注者之间的主观分歧信息，而这些分歧恰恰反映了内容的模糊性与社会认知多样性。
• 大模型依赖与部署成本：主流方案常微调大型视觉–语言模型（如 CLIP、BLIP-2），推理计算开销大，不易在低资源或实时审核场景中落地。
• 任务孤立建模：多个相关子任务（如是否为性别歧视、歧视类别）常被独立处理，未利用任务间的层次依赖关系，限制了学习效率。

为什么这个问题难且重要

迷因的语义不仅来自文本和图像元素的简单叠加，更依赖非线性互动、文化语境与隐含修辞（如反讽、潜台词），这使得纯视觉或纯文本模型难以捕捉完整意图。同时，网络性别歧视正加剧数字空间中的边缘化，自动化检测成为保护弱势群体、维护数字公共空间的重要技术干预。EXIST 等国际评测持续推动该方向，要求系统在软标签分布预测与多任务层次推理之间取得平衡，技术挑战兼具学术价值和产业需求。

行业类比

类似电商平台对隐晦宣传语的审核，需要从多模态融合中捕捉模糊、多义的内涵，而通过轻量级嵌入映射+不确定性加权的方式，为大规模部署提供了经济可行的路径。

核心洞察

• 将多标签性别歧视检测建模为条件软标签预测，直接拟合标注者经验分布，而非传统硬标签分类。与常规将任务简化为二元或多项硬分类不同，本工作保留了标注者间的不一致性作为软目标，通过 KL 散度训练，使模型能够输出校准过的概率分布，更真实地反映现实中的主观判断和模糊案例。这避免了强行对齐单一真值导致的过度自信，尤其适合 meme 这类依赖语境和隐含表达的内容。
• 将三个难度递增的子任务组织为层次条件概率链，并利用同方差不确定性动态平衡各任务损失。不同于典型多任务学习需手动调参或使用固定权重，该方法自动学习每个任务的噪声参数，从而在训练过程中自适应地调整各任务的重要性。这种设计利用了子任务间的层次依赖（任务 2.3 的输出依赖于任务 2.1 和 2.2 的预测），使得模型能更有效地共享表征，并在竞赛的 Soft-Soft 排行榜上取得了任务 2.3 第一的成绩，验证了其在处理复杂标注结构时的有效性。
• 使用预先提取的 Gemini Embedding 2 表征，仅训练一个 Gated MLP 适配器，在不微调大模型的情况下达到领先性能。许多多模态方法依赖端到端微调视觉-语言模型，计算开销大且容易遗忘预训练知识。该系统固定嵌入，通过简洁的门控机制和非线性变换学习任务特定知识，既保持了通用表征的鲁棒性，又大幅降低了训练成本。这种策略对于资源受限场景或快速原型开发具有实际指导意义，同时证明了当前嵌入模型质量的提升允许更简单的下游架构。

方法

输入与表示

• 输入 meme 由文本（OCR提取或原始文本）和图像构成。
• 使用 Gemini Embedding 2 视觉-语言模型提取固定大小的多模态嵌入，作为后续模块的输入特征。

关键模块：层次化软标签预测

模型围绕三个核心设计展开：

1. 共享 Gated MLP：一个轻量级的多层感知机，其中集成门控机制（Gated MLP），对嵌入进行特征变换与筛选。门控单元允许网络根据任务动态选择有用通道，抑制噪声。
2. 层次化条件建模：三个子任务（Task 2.1 → 2.2 → 2.3）按难度递增，模型将其建模为条件概率链：先预测是否含有性别歧视（二分类），在此基础上预测歧视类型（hostile/benevolent/other），最后预测细粒度子类别。每个阶段的分类头均以前一阶段的 logits 或预测结果为条件输入。
3. 软标签与分歧学习：不采用硬标签，而是将标注者的经验分布（empirical annotator distributions）作为软标签，使用 KL 散度 最小化预测分布与标注分布的差异。这样做能捕捉标注歧义，提升模型对隐晦内容的鲁棒性。
4. 同方差不确定性加权：多任务训练时，通过为每个任务学习一个可训练的噪声参数（homoscedastic uncertainty），自动平衡各任务损失，避免手动调权。损失函数为各任务 KL 散度的加权和，权重由不确定性参数推导。

输出

模型为每个样本输出三个任务上的类别概率分布，可直接用于排序或阈值决策。

消融：Detached Soft-Gating

作者实验了一种解耦的软门控方案，在推理阶段将门控信号与主路径分离，以分析门控对性能的贡献。

差异点：与传统微调大模型或多模态 Transformer 的方法不同，本工作采用固定嵌入 + 轻量级 Gated MLP，结合层次化软标签学习和不确定性加权，在不增加推理成本的前提下有效利用标注分歧。

实验

实验设计

• 任务：EXIST 2026 多模态迷因性别歧视识别，包含三个难度递增的子任务 (Task 2.1 / 2.2 / 2.3)。
• 数据：官方提供迷因图像-文本对，标注包含多位标注者的实证标注者分布 (empirical annotator distribution)。
• 系统：固定 Gemini Embedding 2 提取视觉-语言表示，输入轻量门控 MLP (Gated MLP)。训练采用 KL 散度 拟合软标签分布，并通过同方差不确定性加权 (homoscedastic uncertainty weighting) 动态平衡三个子任务的损失。
• 层次化：将三个子任务建模为条件概率链：给定 Task 2.1 预测结果，再预测 Task 2.2，最后 Task 2.3。

关键发现

1. 在官方 Soft-Soft 排行榜 上，Task 2.3 排名第一，Task 2.1 和 2.2 均排名第四。
2. 软标签训练 (Soft-Label) 能够有效利用标注者间的分歧信息，比传统硬标签更好地捕捉话语中的模糊性与隐含偏见。
3. 层次化条件建模在难度最高的子任务上体现明显优势，说明利用前置任务的信息能够辅助消歧。
4. 消融实验中移除软门控 (Detached Soft-Gating) 后性能下降，验证了门控机制对多模态融合的贡献。

与基线对比解读

虽然论文未提供具体数值对比，但从排行榜表现可推断：相较于仅使用单任务或多任务硬标签的基准方法，层次化软标签预测 显著提升了对复杂、隐含性别歧视内容的识别能力，尤其在 Task 2.3 上取得最优名次。这一设计在工程上具有启示：

• 软标签 直接拟合标注者分布，避免因强制二值化而丢弃不确定信息；
• 不确定性加权 使模型能自适应调整学习重心，无需手动设定子任务权重；
• 轻量级的 MLP 头部结合冻结大模型编码器，在保持高效推理的同时，可通过端到端软标签学习有效压缩先验知识。

整体而言，该方法以极低的计算开销实现了顶尖性能，为敏感内容检测中标注噪声与分级任务耦合提供了可行路径。

行业影响

落地场景

该系统直接适用于UGC内容安全审核，尤其针对多模态迷因、图文帖子中的隐性偏见和歧视表达。典型业务场景包括：

• 社交平台（例如 Twitter/X、Facebook、Reddit）的自动内容标记，拦截带有性别歧视倾向的帖子或评论；
• 品牌安全：广告投放平台需确保广告不出现在包含隐性歧视的迷因旁边，避免品牌声誉受损；
• 未成年人数字保护：教育类应用或儿童社区需要过滤含歧视暗示的模因，维护安全的线上环境。

商业价值

• 降低人工审核成本：相比纯人工审核，自动识别软标签能覆盖更多“灰色地带”内容（如讽刺、双关），减少漏放风险，预计可替代 40–60% 的初审工作量。
• 提升用户体验与留存：快速隐藏/标记歧视内容，改善社区氛围，减少女性用户流失，直接提升平台活跃度。
• 风险控制与合规：在欧盟《数字服务法案》等监管压力下，有效检测隐性歧视内容可帮助平台避免高额罚款和法律诉讼。

与现有产品/工作流集成

系统架构轻量：固定视觉-语言嵌入（如 Gemini Embedding 2）加上小型 Gated MLP，可以封装为无状态推理服务（REST/gRPC API），无缝接入现有内容审核流水线：

• 作为预处理增强模块：在现有文本或图像审核之后，对判定为“不确定”的内容（置信度低于阈值）进行二次评分，输出软标签分布；
• 与人工复审系统联动：当软标签分布分歧较大时（如一个类概率 0.4，另一类 0.3），自动推送到人审队列，提升优先级排序的准确率；
• 支持持续学习：可定期使用新增的标注数据微调 Gated MLP，而无需更新庞大的嵌入模型，运维成本低。

具体落地案例

• 案例一：社交媒体内容审核
  某全球社交平台每日产生数亿帖子，现有审核系统对文本+图像的模因类内容覆盖不足。接入本系统后，可对每条帖子生成 sexist / non-sexist 的软标签分布，并结合实时策略引擎决定“直接屏蔽” “仅降权” “发送警告”。在 EXIST 2026 的 Soft-Soft 榜单上，本模型在 Task 2.3 （最难的隐式子任务）排名第一，表明其对细微歧视的捕捉能力足以应对真实场景。
• 案例二：广告品牌安全平台
  程序化广告交易平台需实时判断页面内容是否适合展示特定品牌广告。可将该模型集成到 ADX bidding 前的 pre-bid 检查中，对每个流量媒体位进行歧视风险评分。模型输出的概率分布可直接映射为品牌适宜度分数，帮助广告主避免关联负面形象，减少品牌危机概率。

局限

• **特征提取器固定**：系统使用预训练的 `Gemini Embedding 2` 提取多模态表示且不进行微调，这虽然保持高效，但限制了模型适应任务特定语义交互的能力。迷因中文本与图像的讽刺、暗示等修辞往往需要端到端微调才能捕捉，固定嵌入可能丢失细粒度的跨模态对齐信号。
• **软标签依赖注释者分布**：方法将任务建模为经验注释分布的软标签预测，但注释者人数有限且可能存在群体偏差，估计的分布可能不稳定。当注释者间分歧较大时，KL 散度训练容易过拟合噪声，且同方差不确定性加权假设各子任务独立，忽略了层次依赖中的协方差结构。
• **仅在 EXIST 2026 数据集上验证**：实验唯一基准为 EXIST 2026 的多模态迷因数据，缺乏跨数据集泛化评估。对于不同平台、不同语言的迷因，模型的有效性未知。此外，轻量 Gated MLP 设计在更复杂的视觉问答或对抗样本场景下的鲁棒性未经验证。