V-Zero: 无答案标签的对比证据门控在线策略蒸馏用于细粒度视觉推理

TL;DR V-Zero 提出无需答案标签的细粒度视觉推理框架，通过对比证据门控将 on-policy 蒸馏提升至轨迹级判别，训练速度比监督微调快 5 倍、比强化学习快 10 倍以上。

问题

问题背景

细粒度视觉推理要求多模态大语言模型 (MLLMs) 不仅能理解图像全局语义，还需 准确定位 任务相关的局部视觉证据，并基于此进行多步推理。该能力在文档理解、医学影像分析、工业质检等场景中日益关键。

现有方法局限

当前主流方案存在明显瓶颈：

• 强化学习 (RL) 依赖手工设计的可验证奖励，探索成本极高，且奖励函数难以跨任务泛化，训练动辄需要数倍于常规方法的时间。
• 监督微调 (SFT) 需要大规模人工标注推理轨迹，标注成本高昂，且模型易受文本监督先验束缚，泛化能力受限。

近期出现的 在线策略蒸馏 (OPD) 尝试摆脱外部答案标签，让学生模型从自身采样轨迹中学习。但本文揭示其本质为 无负样本的停止梯度对齐：OPD 仅在 token 级别进行纠正，缺乏对完整推理轨迹质量的全局判断（即 轨迹级区分）。这导致 OPD 在错误推理路径上仍可能强化模型，性能天花板明显。

为什么该问题难且重要

细粒度视觉推理的核心挑战在于：图像区域高度冗余，无关细节易造成干扰；推理步骤长，任何一步错位都会导致最终答案错误。在 无答案标签 的条件下，模型必须同时做到：

1. 在 token 级精准修正，避免局部错误积累；
2. 在轨迹级有效甄别，拒绝整体不佳的推理链。

两者协同的技术设计复杂度极高。业界对 无需人工标注、可自我进化的视觉推理范式 关注度持续升温，因为这直接决定 MLLM 能否低成本适应开放域任务，从“需要人教”迈向“自我对弈”的范式升级。

行业类比

这类似于 智能客服系统的意图推理：传统方法需要大量标注对话日志，而通过对比“正确证据链路”与“混淆性反面视图”，模型可以在无答案标签的情况下，自行学会从冗长的对话历史中锁定关键信息并给出可靠回答。

核心洞察

• On-Policy Distillation (OPD) 本质上是「负样本自由的 stop-gradient 对齐」，该视角指出 OPD 在 token 级纠正上有效，但因缺乏轨迹级判别，其推理能力天花板明显。与将 OPD 视为普通蒸馏或模仿学习的主流观点不同，这一重新解读揭示了自采样轨迹的结构性局限：模型只能对齐局部 token 分布，无法从整体推理路径的优劣中学习，因此难以突破仅在教师分布附近微调的瓶颈，为后续引入全局轨迹级信号提供了理论动机。
• 对比证据门控（contrastive evidence gating）方法通过构造与问题相关的区域裁剪和负视觉视图，在不依赖任何答案标签的情况下自动评估学生轨迹质量，并按权重控制密集 token 级蒸馏。该设计独特地避开了强化学习的昂贵探索和手工验证规则，以及监督微调对大规模标注的依赖，同时将训练效率提升 5 倍以上（相较 SFT）和 10 倍以上（相较 RL），且保持强泛化性，为标签稀缺场景下的细粒度视觉推理提供了一条高效、可扩展的技术路径。

方法

输入构建：无答案标签的双视图视觉提示

V-Zero 不需要 任何人工标注的文本答案或推理轨迹，而是为每张图像自动构造两种互补的视觉视图：

• 正视图（Positive View）：通过视觉定位手段（如开放词汇检测或基于注意力的裁剪）提取的与问题相关的局部区域，作为推理的“证据锚点”。
• 负视图（Negative View）：刻意选取的不相关或弱相关图像区域，用于对比辨别。 训练时，学生模型（待优化 MLLM）仅接收原始图像和自然语言问题，教师模型（冻结的高能力 MLLM）则同时访问正、负视图，以形成对证据的显式感知。

关键模块：对比证据门控与在策略蒸馏

V-Zero 将 On-Policy Distillation（OPD） 重新诠释为“无负例的停止梯度对齐”，并指出其瓶颈在于缺乏轨迹级判别。为解决此问题，框架引入两个核心机制：

1. 学生轨迹采样（Student Rollouts）：学生模型对给定图像和问题生成多条推理链（token 序列），保留自回归采样中的多样性。
2. 对比证据门控（Contrastive Evidence Gating）：利用教师模型对正、负视图的语义理解，评估每一条学生生成轨迹的“证据相关性”。具体地，教师计算正视图下轨迹的 log-likelihood 与负视图下的差异，得到一个标量分数；该分数通过可微门控函数转化为 token 级蒸馏权重，使得高证据相关性的 token 获得密集的教师分布对齐，低相关性的 token 则被稀疏化或跳过。

训练目标与输出

V-Zero 的最终损失可理解为：

带门控的 token 级 KL 散度，无任何答案标签参与。

教师提供 stop-gradient 的软目标分布，学生仅在门控选择的 token 位置最小化与教师的差异。训练后，学生模型能自主完成细粒度视觉推理——即先定位任务相关的局部视觉证据，再在此基础上生成推理结论，且泛化能力与推理速度均优于监督微调和强化学习基线。

与同类方法的差异点：V-Zero 首次将轨迹级对比信号引入在策略蒸馏，摆脱了对答案标注或手工验证规则的依赖，同时通过证据感知的门控机制使蒸馏更聚焦于视觉 grounding 过程，显著提升训练效率（比 SFT 快 5 倍以上，比 RL 快 10 倍以上）。

实验

实验设计

V-Zero 在多个视觉推理基准上进行评估，学生模型仅从自身采样的推理轨迹中学习，全程不使用任何答案标签。训练时，对每个问题动态裁剪出问题相关的图像区域（正视图）与随机负视图，通过 对比证据门控 (contrastive evidence gating) 计算轨迹级信号，并以此调节稠密的 token 级蒸馏损失。对比基线包括需全量标注推理链的 SFT 方法，以及依赖可验证奖励函数的 强化学习 (RL) 方法，来考察无标签自举训练的性能与效率边界。

关键发现

V-Zero 在所有基准上一律提升细粒度视觉推理能力，且保持了模型的泛化性。最突出的结果是训练效率：比 SFT 方法快 5 倍以上，比 RL 方法快 10 倍以上，大幅压缩了训练时间。这表明，仅利用视觉对比信号与 on-policy 轨迹，无需任何文本标签或外部奖励，即可有效驱动 MLLM 进行细粒度区域推理，同时显著降低计算开销。

基线对比

传统 SFT 需要昂贵的人工推理链标注，RL 则需要精心设计验证规则且探索成本高，两者都难以低成本规模化。On-Policy Distillation (OPD) 虽脱离外部标签，但本质只有 token 级纠正，缺乏轨迹级判别，导致性能天花板受限。V-Zero 通过引入负样本视觉视图，在无标签条件下实现了对轨迹质量的自动评估和选择性知识蒸馏，填补了轨迹级判别的缺失，同时对 token 级校正进行精细化门控。这一设计在性能与效率上均超越了现有范式，证明纯对比视觉信号可以替代文本监督和奖励工程，为低资源场景下的多模态推理训练提供了新的可行路径。

行业影响

落地场景

V-Zero 的无标签训练范式天然适合 细粒度视觉推理需求密集且标注成本高昂的工业场景，例如：

• 电商商品合规审核：识别商品图中材质纹理、品牌标志局部细节，自动校验描述真实性。
• 自动驾驶感知：交通标志细粒度分类（如限速数字、辅助标识），需对远距离小目标进行区域级证据推理。
• 医疗影像辅助诊断：病变区域与正常组织的微妙差异判断，依赖局部视觉证据而非全局描述。
• 内容安全审核：对图像中隐藏的违规物品、敏感元素进行精准定位与识别。

商业价值

• 显著降本：彻底消除答案级人工标注，仅需提供 (问题, 相关区域裁剪, 负样本视图)，数据制备成本较传统 SFT/RLHF 下降一个数量级。训练速度较 SFT 提升 5 倍以上，较 RL 基线提升 10 倍以上，大幅缩短模型迭代周期。
• 能力提升：对比证据门控机制强制模型聚焦于区分性视觉证据，产出更具解释性的推理链，在细粒度 benchmark 上稳定提升准确率，直接改善用户体验与系统可信度。
• 弱依赖优势：不依赖可验证奖励或强文本监督，降低对领域专家规则设计的依赖，使非结构化的视觉推理任务也能享受对齐收益。

与现有产品 / 工作流的接口

V-Zero 可作为 MLLM 对齐管线的即插即用模块，集成方式如下：

1. 数据准备：利用现成的检测/分割模型（如 SAM、YOLO）自动生成 positive views（问题相关区域）与 negative views（无关背景或相反样本），无需额外文本标注。
2. 训练集成：在常规 instruction-tuning 之后，插入 V-Zero 的在线策略蒸馏阶段，替代耗时的 SFT 或 RL 步骤。与现有训练框架（如 DeepSpeed、FSDP）兼容，仅需添加对比门控损失。
3. 持续学习：线上采集的交互数据可快速构造正负视图进行持续轻量微调，使模型适应新的细粒度类别，而无需重新标注答案。

具体 Use Case

• 跨国电商平台的商品真实性验证：用户上传手表图片，系统需识别表盘细节（如刻度、LOGO 雕刻）是否与品牌官方数据匹配。V-Zero 可利用正（真品细节裁剪）负（仿品对应区域或无关背景）视图对训练，无需人工标注“真/假”标签，模型即可学会聚焦鉴别性区域并输出推理依据，大幅降低造假漏报率。
• 自动驾驶中的交通标志识别：对限速标志的数字进行细粒度分类（如 30 vs 50），V-Zero 利用车载前视摄像头采集的无标注图像，自动生成标志区域裁剪（正视图）与背景/相似标志（负视图），结合问题“请判断限速值”，训练模型在夜间或遮挡条件下仍能稳定提取局部证据，提高感知准确性且无需重标注海量数据。

局限

• **对负样本视觉视图构建方式的依赖**：V-Zero 通过配对问题相关区域裁剪（正视图）与一个负视觉视图来评估轨迹，但论文未充分探讨如何保证负视图的有效性和多样性。若负视图与正视图区分度不足或过强，都可能导致证据门控失效，从而影响蒸馏质量。实际应用中，自动生成高质量负视图可能需要额外的视觉模块或先验知识，这可能限制方法的即插即用性。
• **仅聚焦细粒度视觉推理任务，泛化至其他视觉任务尚待验证**：实验主要在细粒度视觉推理基准上开展，未涉及一般视觉问答、图像描述或视频理解等任务。虽然论文强调保持强泛化性，但未提供在更广泛多模态任务上的证据。对比学习架构（尤其是证据门控机制）能否直接迁移到时间序列或三维场景理解等场景仍不明确。
• **精度提升幅度与全监督或有标签蒸馏方法的差距未系统分析**：V-Zero 声称消除了答案标签，且训练速度大幅提升，但未在相同数据规模下与有标签的监督微调或基于 RL 的方法进行严格的精度上限对比。在某些需要精确文字匹配的推理任务中，完全放弃文本标签可能会牺牲一定的推理准确性，而论文未给出相关的量化分析，使得实际部署时的精度-成本权衡不够清晰。