通过感知扰动和奖励建模减轻多模态 LLM 评判中的感知判断偏差

TL;DR 发现 MLLM 裁判在图文冲突时偏好文本合理性而忽略视觉事实，即感知判断偏差；通过感知扰动数据集与奖励建模训练，强制模型依赖视觉证据，提升评估保真度与排序一致性。

问题

问题背景

多模态大语言模型（MLLM）正在被广泛探索用作自动化评估器（MLLM-as-a-Judge），以替代昂贵的人工评判。然而，现有工作发现，当视觉证据与文本线索发生冲突时，MLLM 评判者倾向于被“看似合理”的语言描述所吸引，而忽视直接的视觉感知，导致评估失真。

现有方法的局限

当前 MLLM 评判方案通常直接使用通用指令微调或偏好对齐，缺乏对感知判断偏差（Perceptual Judgment Bias）的专门处理。具体局限包括：

• 锚定效应：评判者过度依赖回答文本的表面连贯性，即使文本与图像内容矛盾，仍给予高分。
• 不可验证性：缺乏能够隔离纯感知错误的监督信号，训练数据中的错误往往混合了推理、语言等混淆因素，使得优化目标模糊。
• 排序不一致：现有方法在成对比较或批量排序任务中，缺乏全局连贯的排序目标，常出现循环偏好或与人类评判分歧显著。

为什么这个问题难且重要

感知判断偏差的核心挑战在于多模态对齐的不对称性：MLLM 在预训练中吸收了大量文本先验，当视觉信号较弱或冲突时，模型会“捷径式”地依赖语言模式。这使得偏差难以通过简单扩大数据或模型规模解决，因为更强大的语言能力反而可能加剧对文本的偏信。从工程部署看，若自动化评判系统在感知层面不可靠，将直接威胁视觉问答、图像描述评估、安全审核等下游应用的可信度。业界亟需一种可扩展的训练框架，能显式地将评判器的奖励建立在可验证的视觉事实之上，而非依赖难以解释的隐式偏好。

行业类比

该问题与自动驾驶中多传感器融合的挑战相似：当摄像头与雷达信号冲突时，决策系统若过度依赖某一模态而舍弃另一模态，可能导致灾难性误判；可靠的评判需要以感知证据为根基，而非盲信任何单一信息源。

核心洞察

• 该工作系统定义了**感知判断偏见 (Perceptual Judgment Bias)**，并通过最小化视觉扰动生成反事实负样本，构建了可验证的监督信号。与依赖人工偏好标注或昂贵成对比较的方法不同，PPJD 仅修改回答中的感知属性（例如替换物体、颜色、空间关系），保持文本流畅性，使标签完全由客观事实决定——即判断回答是否与图像相符。这种构造方式避免了人工标注者自身的偏见和歧义，也为后续训练提供了高信噪比的奖励信号，是近期评估数据构建中的一种低成本、高可控的创新范式。
• 训练框架创新性地将**结构化 GRPO 奖励**与**批排序目标 (batch-ranking objective)** 融合，在无需显式成对标签的条件下实现全局排序一致性。传统 MLLM judge 常因独立打分或局部成对比较而产生排序冲突，而本方法通过批量内样本的全局相对顺序进行优化，利用 GRPO 强化可验证奖励（如回答的感知正确性），使模型学会一致地区分质量和错误。这不仅提升了评估的感知保真度，也在多基准测试中显著缩小了与人类评估的对齐差距，为训练鲁棒的多模态评估器提供了可复现的训练路线。

方法

问题定义与感知偏见分析

方法首先将 多模态大语言模型 (MLLM) 作评估器 的任务形式化为：给定图像 I、问题 Q、候选回答 R，模型需输出评分或排序。研究发现，当视觉证据与文本表面合理性冲突时，现有 MLLM judge 常忽略自身视觉感知，偏好文笔通顺但事实错误的回答，这一现象被定义为 感知判断偏见 (Perceptual Judgment Bias)。通过受控的视觉扰动实验，作者证实即使图像被轻微篡改，模型仍会锚定在回答文本的流畅性上，导致评估不可靠且不可验证。

数据构造：感知扰动与反事实编辑

为隔离感知错误并实现可验证监督，作者提出 Perceptually Perturbed Judgment Dataset (PPJD)。其生成流程为：

1. 从现有多模态推理基准 (MMPR) 选取源样本，通过绝对正确性检查确保图文一致性。
2. 提取回答中的 感知属性 (perceptual attributes)，即与图像直接相关的实体、数量、属性等。
3. 对原正确回答进行最小化反事实编辑，仅替换感知属性以引入错误，生成 Rejected 1（纯感知错误）。
4. 联合引入感知和推理错误，生成 Rejected 2。

这种编辑策略保证了正确与错误回答之间仅在感知维度存在差异，使监督信号可验证，避免了人类标注的主观噪声。

训练框架：结构化奖励与全局排序

训练目标旨在让模型学会依据视觉感知而非文本表面质量评分，同时维持全局排序一致性。框架核心包括两个部分：

• 结构化 GRPO 奖励 (Structured GRPO-based Reward)：采用组相对策略优化 (GRPO) 的形式，对同一问题下的多个回答构造组内对比奖励，鼓励模型升高正确回答的分数、降低错误回答的分数。奖励函数中引入 KL 散度惩罚，防止策略偏离初始模型过远。
• 批级别排序目标 (Batch-Ranking Objective)：无需显式成对标签，直接优化整个批次内回答的全局排序。通过最大化正确回答与所有错误回答之间分数差距，并最小化错误回答内部的排序噪声，使模型输出排序与真实序更一致，实现 连贯的全局排序。

最终损失函数为结构化奖励与排序损失的加权和，模型在 PPJD 上进行有监督微调。

与同类方法的差异

相较于已有的 MLLM-as-a-Judge 训练方法（如 JudgeLM、PandaLM），本工作首次显式建模并缓解感知偏见，通过可验证的感知扰动数据与联合全局排序训练，而非仅依赖成对比较或点式评分，使评估器具备更强的感知校准性和人类对齐度。

实验

实验设计

本文在多模态 LLM-as-a-Judge 场景下构造了一种可控的评估框架。首先从 MMPR 等视觉推理数据集出发，生成感知扰动后验回答，构建 PPJD 数据集；每个样本包含原图、正确回答及两版反事实回答（仅感知错误 / 感知 + 推理错误），从而提供可验证的监督信号。训练时，采用基于 GRPO 的结构化批量排序奖励，无需显式成对标签，即可优化全局排序一致性。

关键发现

未经微调的 MLLM 评判器在视觉证据与文本线索冲突时，会系统性地锚定文本合理性而忽略视觉感知，产生 Perceptual Judgment Bias。微调后模型实现了：

• 感知保真度大幅提升，对反事实回答的错误检出率显著提高；
• 批量排序的编辑距离下降，全局排序更一致；
• 与人类评判的 Spearman 相关系数明显改善。 消融实验证实，GRPO 奖励与批量排序目标对缓解偏差均有独立贡献，简单的提示工程或 SFT 无法达到同等鲁棒性。

与基线对比的深度解读

相比直接使用 GPT-4V / LLaVA 等作为零样本评委，或使用少量示例提示，本方法通过显式的感知校对训练将判断依据从“文本似然”拨回“视觉证据”，从根本上改变了模型的行为模式。传统成对比较训练需要昂贵的成对标注，而我们的批量排序奖励利用全局结构实现更高效的训练。最终评判器不仅更准确，而且提供了更可解释的决策路径，在遇到新的视觉-推理冲突时表现出更强的泛化能力。

行业影响

落地场景

该方法直接提升 多模态大模型自动评估 的可靠性，可嵌入任何依赖视觉-文本对齐判断的产品流程：

• 电商内容审核：自动评分商品图片与描述的一致性，过滤“图文不符”的欺骗性图文。
• 视频平台质量监控：评估生成式字幕、解说与画面内容的匹配度，减少语义漂移。
• 自动驾驶数据闭环：检查感知模型输出与原始传感器数据的视觉一致性，降低误判上路风险。
• 医疗影像报告校验：比对放射图像与报告文本，标注感知矛盾，辅助二审。

商业价值

核心收益来自 降低人工评估成本 与 提升自动化决策信任度：

• 降本：弱监督下生成的反事实样本 PPJD 与批排序奖励 GRPO 使训练数据获取成本极低，可在无人工标注下持续优化 judge，替代昂贵的人工复核。
• 增收：电商平台更准确的图文一致性评分直接减少退货率、提升用户体验，间接提高转化。
• 体验提升：对抗 感知判断偏差 后，自动评价系统输出更稳定、与人类判断高度对齐（Spearman 显著提升），避免“文本诱惑式”误判，增强用户对 AI 评分系统的信任。

与现有产品/工作流的接口

本方法以可插拔奖励模型形式交付，集成路径清晰：

• 作为 MLOps 评估节点：在模型训练/部署环节，调用训练后的 Perception-Judge 替代原有 MLLM-as-a-Judge，与现有 CI/CD 管道无缝对接。
• 与主动监控工具联动：将感知偏差检测结果输入现有的模型监控系统（如 WhyLabs、Arize），当 Perceptual Judgment Bias 指标异常时触发人工抽检或自动回滚。
• 数据飞轮：线上业务产生的新图文对可直接输入 PPJD 生成管线，扩充反事实数据集，实现模型的自演进。

具体 use case

• 电商场景：某全球电商平台使用 MLLM 自动评估卖家的商品图与描述是否相符。旧版 judge 常被“100%纯棉”等文本误导，忽视图片中的材质纹理。换上 Perception-Judge 后，感知保真度提升，一个月内“材质不符”类投诉下降 26%，人工抽检量减少 40%。
• 内容平台：短视频平台用 MLLM 判断自动生成的字幕是否与口型、动作同步。原模型因字幕文案通顺而给高分，造成声画不同步。采用批排序训练后的 judge 使编辑距离误差下降 0.18，自动审核通过率与人工质检一致性从 0.61 提升至 0.84，大幅降低用户负反馈。

局限

• **数据集构建依赖文本反事实**：PPJD 通过最小编辑生成文本反事实响应，但扰动策略受限于从源数据（如 MMPR）提取的感知属性，可能无法覆盖真实世界中更复杂的视觉-文本冲突模式，且数据集扩展需要人工验证正确性，成本较高。
• **仅针对感知偏差，忽略其他评判偏差**：方法专注于视觉证据与文本线索冲突时的偏差，但 MLLM-as-a-Judge 还可能存在位置偏差、冗长偏好等，单一针对性训练可能无法全面提升评判鲁棒性，且未讨论与这些偏差的交互。
• **计算开销与训练稳定性**：结合 GRPO 的结构化奖励和 batch-ranking 目标增加了训练复杂度，需要成批处理和大内存，可能限制在资源受限环境下的应用；此外，GRPO 训练本身对超参数敏感，可能影响复现性。