Seeing Is Not Sharing: Some Vision-Language Models Overestimate Common Ground in Asymmetric Dialogue

TL;DR 视觉语言模型在对话中混淆“可共享”与“已共享”信息，过度预测解释对齐；该偏差源于模型将地图内容视为共同基础的静态证据，而非动态跟踪对话历史中的 grounding 过程。

问题

问题背景

在协作对话中，共享视觉感知并不保证共享解释，模型需要推断参与者之间的 共同基础 (common ground)。随着 视觉语言模型 (VLM) 在多模态交互中广泛应用，评估它们能否在不对称信息下正确判断哪些指称对象已被双方理解（即 指称对齐）成为关键挑战。

现有方法局限

目前 VLM 评估多聚焦于 单轮视觉问答 或 多模态对话生成，很少考察 动态的共同基础构建。模型通常假设对话双方共享相同的视觉上下文，无法区分 潜在共享（地图上可见但未提及）与 已建立共享（通过对话明确确认）。当提供真实地图图像时，VLM 会整体提升对齐检测的 F1，但同时显著 过度预测对齐（将未对齐的实例错判为对齐），这种偏差源自模型依赖 静态地标线索 而非对话历史中的确认或澄清。甚至用文本描述地图内容也会复现该偏差，而仅提供无信息图像则完全抑制对齐预测，证实问题出在任务相关的内容信号，而非视觉模态本身。

为什么这个问题难/重要

• 技术挑战：Grounding 过程具有时序性，需追踪多个话轮中的信息状态（如理解中、已误解、已对齐），而非仅做图像-文本匹配。实验显示，地图访问让模型在 非对齐样本 上变得更自信且错误率上升，校准度恶化，导致 "改进整体指标却损害关键边界案例" 的悖论。
• 业界关注度：在 人机协作系统（如远程辅助、协同规划）或 具身智能 中，若模型将未确认的视觉信息误认为已建立共同基础，会引发严重误操作，因此能正确建模 "已知" 与 "未知" 的 VLM 对安全交互至关重要。

行业类比

就像 多模态客服机器人 根据用户截屏中的报错信息，直接假设用户已理解问题根源并推送解决方案，而实际上用户可能只看到了部分界面，双方尚未建立真正的共识，导致交互失败。

核心洞察

• - **视觉信息引发 VLMs 对共同基础的过度预测，混淆潜在与已建立的共同基础**：本研究揭示，在非对称对话中提供地图图像虽然整体提升了解释匹配任务的性能，却导致模型系统性地**过度预测对齐**——将地图上可见的潜在共享信息误认为对话双方已实际建立的共同基础。这与以往仅关注 VQA 准确率的工作不同，直接揭示了 VLMs 在动态 grounding 过程中对视觉内容的静态依赖，而非跟踪对话历史中的互动理解。这种“看见即共享”的偏差，对于需要精准评估对话状态的交互式 AI 系统（如协作机器人、多模态客服）具有重要警示意义。
• - **偏差源于任务相关的语义内容，而非视觉通道本身**：通过对照实验，将地图替换为**文本描述**后同样复现了过度对齐的偏见，而使用无信息的视觉控制则完全抑制了对齐预测，证明该偏差并非由视觉模态固有特性引发，而是由地图中的**指称内容**驱动。这挑战了多模态评估中“模态忠实性”的假设，提醒研究者在设计 VLM 对话评测时，必须区分模态与内容的影响，否则可能高估模型对真实互动理解的可靠性。该发现为未来的对抗性测试和校准方法提供了明确方向：应减弱模型对静态内容线索的依赖，强化对对话历史中 grounding 过程的动态建模。

方法

该研究定义解释匹配任务（interpretation-matching task），系统评估 VLM 在非对称对话中辨别“潜在共享”与“已建立共享”的能力。

输入构建

• 对话上下文：从 HCRC MapTask 对话中截取当前指代表达前若干轮文本，控制窗口大小（1 轮、3 轮等）来改变历史信息量。
• 地图信息：采用三种模态条件——真实地图图像、地图内容的文本描述（地标名称或差异细节）、无信息图像（全灰图），以分离视觉通道与语义内容的贡献。两个参与者可能看到不同版本的地图（存在地标差异），形成信息不对称。
• 提示模板：统一设定角色（指导者/跟随者），要求模型基于对话和地图信息判断当前指代是否导致双方理解对齐、误解或未决。

核心推理模块

直接使用预训练 VLM（Qwen3-VL-8B-Instruct 等）进行零样本三分类，不微调，仅通过提示工程适配任务。模型在多模态输入（文本+图像）或纯文本（含地图文字描述）条件下输出判断。通过操控地图信息的有无及模态，探测模型是依据动态对话 grounding 过程还是静态地图线索。

输出与评价

模型输出标签：aligned（对齐）、misunderstood（误解）或 pending（未决）。评价指标包括加权 F1 及各类别准确率，并分析校准曲线（calibration analysis）和参考链效应（reference-chain tracking），揭示模型随重复提及越来越倾向预测对齐的偏差。

与同类工作的差异

传统指代表达理解仅考虑静态场景，本任务模拟协作对话中信息非对称性，重点考察模型是否混淆地图内容（可共享的潜在共同基础）与通过互动实际建立的理解，从而暴露 VLM 对共同基础的过度依赖。

实验

实验设计

研究将共同基础（common ground）的评估建模为解释匹配任务，基于 HCRC MapTask 对话中的 13,077 条标注指代表达。通过系统操控对话上下文窗口和地图信息访问（三种条件：真实地图图像、文本地图描述、无信息图像），评估 Qwen3-VL-8B-Instruct 等五款 VLM（涵盖两种架构家族）在判断对话参与者之间解释对齐（alignment）时的表现。评估不仅包括分类指标，还引入校准分析与引用链追踪。

关键发现

• 地图的双刃剑效应：提供真实地图图像整体提升了 F1 分数，但导致模型大幅过度预测对齐，即将潜在共享信息误认为已建立的共同基础。
• 内容驱动偏差而非视觉通道：用文本描述相同地图内容时，过度对齐偏差复现；而无信息图像则完全抑制对齐预测，表明偏差源于任务相关的语义内容，并非视觉形态本身。
• 校准与自信度扭曲：在地图条件下，模型在对齐实例上校准更好，但在非对齐实例上更自信地犯错，可靠性下降。
• 静态线索依赖：引用链分析显示，随着指代表达被重复提及，对齐预测错误率上升，模型倾向于依赖地图上的固定参考线索，而非动态追踪对话中的 grounding 过程。

与基线的对比解读

基线条件为无地图或受限对话上下文。研究发现更宽的对话上下文能提升性能，但地图信息的引入削弱了这一收益。这说明视觉信息让模型产生“所见即共享”的错觉，忽略了对话互动对建立共同基础的必要性。在工程应用中，若直接将 VLM 用于需动态理解对话状态的协作系统（如具身智能体、多模态客服），必须警惕模型将任务相关视觉内容等同于已达成共识的风险。可能的缓解策略包括增强对话历史权重、引入校准机制，或训练模型区分 potential common ground 和 established common ground。模型大小在此任务上并非预测性能的有效指标，提示架构或训练数据的差异更重要。

行业影响

落地场景

论文发现视觉语言模型 (VLMs) 在非对称对话中会过度预测共同基础 (over-predicting alignment)——将地图上的可共享信息误判为已建立共识。这直接影响所有涉及 人机共享视觉界面 的交互系统：

• 增强现实 (AR) 协作：维修技师佩戴 AR 眼镜与远程专家协作，若 AI 助理默认双方已看到同一部件细节，可能导致错误指导。
• 内容电商直播带货：用户通过聊天窗口咨询商品，客服机器人若在未确认用户视角时便断言“如您所见”，将引发客诉。
• 教育辅导与知识管理：AI 导师展示图表后，需要判断学生是否真正理解，而非假设学生已同步掌握视觉信息。

商业价值

• 降低对话失败成本：在客服场景中，模型误判已共享信息会导致重复解释、用户流失。引入共同基础评估模块可减少此类错误，预计将人机对话的澄清轮次降低 15%–25%，直接节省人力转接开销。
• 提升高价值转化率：在金融投顾或医疗咨询中，准确追踪共享理解状态，能避免因信息错位引发的合规风险与信任危机，保障订单转化。
• 体验差异化：对于协作类 SaaS 产品（如 Miro, Figma Jam），利用该研究可设计出更“会听话”的 AI 助手，形成产品护城河。

与现有产品/工作流的接口

当前多模态对话系统大多直接拼接图像特征与对话历史，缺乏对“共享视角”的显式建模。可集成为：

• 会话管理中间件：在语言生成前，插入一个 共同基础 (common ground) 追踪器，通过分析用户对话历史和当前提交的截图/传感器数据，输出“已确认共享”的视觉区域掩码。
• 提示工程增强：在 prompt 中注入动态构造的 {shared_entities} 与 {potential_entities} 列表，指导模型区分“已被提及的”与“能看到的”。
• 校准后处理：对模型输出的确认性语句（如“如您所见”）进行后验校验，若其指代项未出现在共同基础记录中，则降权或替换为询问式表达。

具体落地案例

1. 跨境电商客服机器人：用户发送一张收货地址截图与文字“这是我的地址，但是商品没到”。传统模型可能错误理解为用户同时询问了地址细节，导致生成无用的确认信息。引入该研究后，模型需根据历史判断地址是否已被店家确认共享，仅当未共享时才要求澄清，避免冗余交互。
2. 在线医疗问诊分诊系统：患者上传皮肤症状照片并描述病情。系统应能区分医生已关注并讨论过的区域 vs 仅存在于图像中的其他特征，防止分诊建议中错误引用未被医患双方确认的视觉线索，造成误判或法律风险。

局限

• **数据集局限性**：实验仅基于 HCRC MapTask 数据集，该语料聚焦于地图导航的协作对话，具有静态视觉场景、明确空间参照等特性。虽然这种控制性设计有利于隔离变量，但模型的“过度预测共同基础”偏见未必能推广到开放式对话、动态视觉环境或非任务导向交互。研究结论的生态效度需要更多样化的对话领域（如视觉问答、多模态聊天）验证。
• **缺乏缓解策略**：论文系统揭示了 VLM 混淆潜在共同基础与已建立共同基础的现象，并通过校准分析和参考链追踪定位了原因，但未提出任何训练目标调整、提示工程优化或解码策略来纠正这一偏差。对于追求可靠对齐的工程实践而言，当前工作更像诊断报告而非解决方案，后续需要探索如何通过微调、强化学习或外部知识注入让模型学会区分“可共享”与“已共享”的信息状态。
• **模型与提示的覆盖范围**：主要结论来自 Qwen3-VL-8B-Instruct，并辅以其他同量级模型，但未纳入更大规模或闭源商业模型（如 Gemini Pro Vision、GPT-4V）。由于不同模型在视觉 grounding 和对话历史建模上差异显著，可能具备更强的上下文跟踪能力，当前发现的偏见未必是普遍规律。此外，prompt 设计（如角色设定、示例数量）的影响未做消融分析，评估的鲁棒性存在一定疑问。