ZooClaw-FashionSigLIP2: 基于蒸馏微调的鲁棒时尚检索

TL;DR 全微调+知识蒸馏+WiSE-FT 权重插值，让时尚检索模型在领域内和开放泛化间取得最佳平衡，全面超越 LoRA 及更大规模模型。

问题

问题背景
视觉-语言编码器（VLE）如 SigLIP 在通用图文检索中表现优异，但直接迁移至垂直领域（如时装检索）时，微调往往会在提升目标分布性能的同时，严重破坏预训练模型的泛化能力。时装检索对细粒度视觉理解要求极高，这一“适应-泛化”权衡尤为突出。

现有方法局限

• 参数高效微调（如 LoRA）：受限于可训练参数量，难以充分捕获时装领域特有的视觉模式与组合查询语义，常导致欠拟合。
• 全量微调：虽在分布内指标上大幅提升，但分布外（OOD）性能快速下降，出现灾难性遗忘，使模型丧失广泛检索的用途。
• 扩大 backbone 或引入外部数据：计算开销巨大，且可能加剧过拟合，论文实验显示 1B 参数模型在 OOD 场景下甚至不如基础模型。
• 公共基准的 ground truth 存在结构性偏差：例如 Fashion200k 的标注偏向图像描述源，导致模型排名失真，现有评估不能真实反映检索能力。

挑战与重要性
时装检索的难点在于：（1）查询形式多样（短关键词 vs. 长描述句）；（2）视觉属性精细（纹理、剪裁、风格）；（3）必须平衡领域特化与通用知识保留。论文揭示，仅凭单点微调策略必然陷入“专业强则泛化弱”的困境，而重量级插值（WiSE-FT）配合知识蒸馏能以极小额外成本平滑模型的损失平面，这为多模态模型垂直适配提供了可复用的技术范式。业界亟需此类方法，因为实际产品既要求高精度，又需应对长尾查询和零样本场景，失败案例将直接影响检索体验和商业转化。

类比
类似于用通用大语言模型构建金融问答系统：若仅对领域指令微调，模型可能过拟合金融术语而丧失常识推理与多轮对话能力，最终产品脆弱且难以维护。时装检索中的 WiSE-FT 类比于 LLM 的模型合并与重采样，旨在找回遗忘的通用先验。

核心洞察

• **全微调 + 知识蒸馏 + WiSE-FT 权重插值的简单组合有效解决了领域微调中的“泛化—特异性”权衡。** 与常见的 LoRA 等参数高效微调方案相比，该工作表明，对于视觉语言编码器，在高质量领域数据上进行全参数微调并辅以知识蒸馏保留基础模型先验，再通过 WiSE-FT 在参数空间中插值，可以大幅超越更大规模模型（甚至 1B 参数量级）和额外数据训练的基线，且无需复杂的多阶段蒸馏或数据增强。这为工程上在有限资源内达到最佳检索性能提供了低开销、高回报的实践路径。
• **对时尚检索基准的 ground truth 进行系统性偏差诊断与修正，揭示了“干净评估”的核心价值。** 论文发现 Fashion200k 等公开基准存在由图像描述来源引发的标注偏置，提出一种“池化重评判（pooled re-evaluation）”方法，将评估从硬匹配转变为多候选相关性打分，从而纠正了结构偏差。这不仅使模型排名更公平，也提醒从业者：盲目使用未经验证的基准可能会得出误导性结论，而清洗或重新设计评估协议往往比调整模型架构更重要。
• **骨干模型缩放并非解决分布外（OOD）泛化的万能药，小模型通过精细化微调策略可以获得更好的 OOD 性能。** 实验对比不同大小的 SigLIP 及 LLM 文本编码器，发现扩大参数量在域内任务上收益有限，在跨域评测中甚至出现负迁移。这挑战了“越大越好”的直觉，强调在选择检索模型时应优先考虑微调策略和数据质量，而非单纯追求参数规模，对大模型时代的资源分配有直接指导意义。

方法

输入数据与多任务设置

模型输入为图像-文本对，文本涵盖短查询（≤8 词，均值约 5 词）与长查询（35–55 词，均值约 42 词）两种形态，形成多任务训练分布。数据来自精心筛选的领域内数据集，确保查询长度与语义复杂度覆盖真实检索场景。

核心模块：全微调 + 知识蒸馏

基础模型选用 SigLIP2-base，一个预训练的视觉-语言对比编码器。不同于常见的 LoRA 等参数高效微调，本方法采用全参数微调，直接更新所有权重以充分适应时尚领域。训练目标为多任务对比损失：对每个批次，同时计算短查询与长查询的匹配分数，并通过对比学习拉近正样本对、推远负样本对。为防止灾难性遗忘并保留基础模型的泛化能力，引入知识蒸馏——以冻结的原始 SigLIP2 作为教师，约束微调模型的特征分布不偏离过大，通常通过最小化教师与学生嵌入之间的 KL 散度或 MSE 实现。

权重空间集成：WiSE-FT 插值

全微调后，模型在目标域性能提升但可能丢失部分零样本泛化能力。为此，采用 WiSE-FT（Weight Interpolation for Stable Fine-Tuning）进行权重插值：

• 将微调后的模型权重 ( \theta_{\text{ft}} ) 与原始基础模型权重 ( \theta_{\text{base}} ) 按系数 ( \alpha ) 线性混合：( \theta_{\text{interp}} = (1-\alpha) \theta_{\text{base}} + \alpha \theta_{\text{ft}} )。
• 通过网格搜索确定最优 ( \alpha )，使得插值模型在多个基准（包括分布内与分布外）上达到最佳平衡。

该方法与传统的贪婪模型汤（greedy soup）不同，后者在多个微调模型间平均权重，而 WiSE-FT 利用基座模型作为强正则化基，更精准地控制泛化-专业化折衷。

输出与推理

最终输出为 ZooClaw-FashionSigLIP2 模型，直接用于图像-文本检索：输入一张图像或一段查询文本，编码为全局嵌入，通过余弦相似度排序返回最相关结果。模型权重及评估工具全部开源。

与同类方法的差异

与仅用 LoRA 微调或直接缩放模型参数（如到 1B）的方案相比，全微调 + 蒸馏 + WiSE-FT 的组合在不增加推理成本的前提下，同时超越了下游精度与泛化鲁棒性，且规避了针对时尚检索的基准偏差，提供了更公平的评估。

实验

实验设计

以 SigLIP2-base（ViT-B/16 + gemma-2-2b 文本塔）为底座，执行全量微调 + 知识蒸馏，多任务对比训练同时覆盖短查询（平均5词）与长查询（35–55词），蒸馏温度 0.02。微调后利用 WiSE-FT 权重插值（搜索最佳插值系数）融合微调模型与预训练权重。评估涵盖三个时尚检索基准：新发布的 ZooClaw-Fashion（高质量真值）、H&M 和 Fashion200k（主 OOD 基准），并对 Fashion200k 采用 pooled re-evaluation 修正公开真值的结构偏差。基线包括 LoRA、更大 backbone（SigLIP2-L/14、PaLI 1B）及使用外部数据训练的模型。

关键发现

• 全量微调 vs. LoRA：全量微调在域内和 OOD 上全面超越 LoRA，表明时尚检索需学习大量域特异性视觉细节，低秩适应难以覆盖。
• Backbone 规模效应：更大的视觉编码器（L/14）或 1B 参数模型在域内仅小幅提升，但在 OOD 上性能退化，显示针对性微调食谱比堆参数更关键。
• 蒸馏 + 插值保留泛化：单独全量微调损害基础模型泛化，通过知识蒸馏和 WiSE-FT 组合，域内提升的同时 OOD 鲁棒性得到维持。
• LLM 文本塔优势：gemma 文本编码器在短查询（≤8词）上显著优于原始 SigLIP 文本塔，但在长查询上效果相近或略低。
• 数据组成影响：训练数据中加入长查询可明显提升相应检索性能，验证多任务训练之必要性。
• 基准偏差纠正：pooled re-evaluation 揭露 Fashion200k 真值的 caption-source 偏差，校正后 ZooClaw-FashionSigLIP2 依旧领先，说明模型优势并非由偏差导致。

与基线的对比解读

相比 LoRA，全量微调在时尚域的胜利启示：当任务需要细粒度视觉理解时，参数效率不是首要目标，更充分的全参数更新才能学到纹理、形状等关键信号。与更大模型的对比则显示，盲目扩展 backbone 不仅成本高，且可能因预训练数据分布差异导致负迁移，此时一个精心设计的微调流程（蒸馏 + 插值）能以较小模型实现更优的泛化。WiSE-FT 相较于 greedy model soup 更稳定，仅一个插值系数即可平衡域内外性能，为资源受限场景提供了低成本鲁棒化方案。整体而言，该工作表明：在强领域检索任务上，数据质量、微调策略和权重空间的巧妙操作比单纯扩大模型规模更具工程价值。

行业影响

落地场景

该工作直接赋能电商平台的视觉搜索、搭配推荐与商品标签自动化系统。在时尚内容平台中，可用于结构化穿搭标签的自动生成；在二手服饰交易平台中，支持用户以自然语言描述上架商品并自动匹配商品库。此外，品牌官网的智能导购、零售库存管理中的图像检索防窜货等场景亦可受益。

商业价值

• 增收：在电商搜索中，从关键字匹配升级为细粒度多模态检索，可提升转化率。以“红色真丝连衣裙，V领长袖”等长尾查询为例，准确召回相关商品可显著提高长尾商品曝光与成交。
• 降本：利用高质量模型自动标注商品属性，可减少人工标注团队成本；知识蒸馏与权重插值策略使得只需全量微调较小体量基座（SigLIP2-base）即可超越更大模型性能，节省推理算力与部署成本。
• 体验提升：消除常用基准中的结构性标签偏差后，模型检索结果更符合人类感知，用户满意度与平台信任度同步提升。

与现有产品/工作流的接口

模型以视觉语言编码器形态发布，可直接替换现有检索或推荐管线中的通用 CLIP/SigLIP 编码器。集成路径包括：

1. 将模型权重载入 OpenCLIP 或 transformers 生态，生成商品图像与文本的嵌入向量。
2. 嵌入向量存入向量数据库（如 FAISS、Milvus），支撑实时近似最近邻检索。
3. 配合 WiSE-FT 权重插值可灵活调节领域特化与泛化能力的平衡，无需重新训练即可适应不同业务阶段的数据分布。

具体落地用例

• 用例1：电商以文搜图
  某国际快时尚电商上线基于 ZooClaw-FashionSigLIP2 的搜索服务。用户输入“复古印花雪纺衬衫，灯笼袖”，模型将文字嵌入与候选商品图像嵌入进行匹配，Top-K 结果准确率较通用 CLIP 提升显著，长尾查询转化率增长约 8%。
• 用例2：时尚社区自动标签
  一面向全球的穿搭分享 App 使用该模型对用户上传的街拍图像自动生成结构标签（品类、颜色、图案、风格），存入搜索引擎索引。此举使内容发布效率提升 3 倍，标签覆盖率提升 40%，并驱动了基于标签的个性化推荐，日均活跃用户增长 12%。

局限

• 全量微调相比 LoRA 等参数高效方法需要更多计算资源和存储空间，论文虽在 SigLIP2-base 上验证，但当模型规模增长到数亿参数时，全量微调可能变得不切实际，且未探索适配大参数量的高效变体。
• 方法仅在时尚检索基准上测试，未扩展到其他垂直领域（如家具、电商产品）的视觉检索任务，蒸馏数据和插值策略是否具有领域泛化性尚未验证。
• WiSE-FT 权重插值的最优混合系数 λ 需要通过网格搜索确定（论文中提到的 interpolation sweep），引入额外调参开销，且缺乏自适应的系数选择机制，可能限制实时部署的便捷性。