See2Think: 多模态模型真的使用中间视觉状态吗？

TL;DR 多模态模型在推理中生成的中间视觉状态是否真的被利用？See2Think 基准和 VAoT 框架揭示了忠实渲染是瓶颈，且视觉反馈损坏时准确率骤降超 10 个百分点。

问题

问题背景

多模态大语言模型（MLLMs）在推理中逐渐引入草图、标注、工具调用等中间视觉状态（intermediate visual states），但学界与业界对模型是否真正理解并依赖这些视觉表示仍存疑问。

现有方法局限

现有基准面临两大痛点：

• 任务覆盖与样本纯净度不足：多数评测集任务类型单一（如仅限2D几何），或混入大量只需文本即可解决的样本，无法准确衡量模型对视觉信号的依赖。
• 评估粒度粗放：仅关注最终答案正确率，缺乏对中间视觉状态生成、渲染忠实度、反馈利用效率的过程诊断，难以揭示模型在视觉推理链中哪一环节失败。

为什么这个问题难且重要

视觉推理是多模态智能的核心能力，而诊断中间视觉状态的利用情况面临双重挑战：

1. 技术挑战：需同时控制推理过程中的动作选择、视觉渲染质量与反馈介入，构建“可观察的思考轨迹”。缺少统一框架时，难以分离模型本身能力与推理策略的影响。
2. 业界关注度：若模型仅表面生成视觉标记却未真实依赖，会导致在安全敏感的视觉规划、医疗诊断、交互式AI等场景产生不可信的决策。清晰的评估手段能为模型优化提供直接线索，避免“黑箱”推理。

行业类比

类似自动驾驶感知–规划链路：若规划模块并未可靠利用感知中间表示（如目标检测框），仅凭最终车辆未发生碰撞无法暴露依赖性问题，而过程诊断正是See2Think 的核心设计逻辑。

核心洞察

• 多模态模型的视觉推理过程必须被拆解为**文本思考、视觉动作、渲染状态与后续推理**四个环节，才能诊断中间视觉状态的真正贡献。现有基准大多只看最终答案，忽略了模型是否确实利用生成的草图或标注。See2Think 通过 `VAoT` 统一记录与控制这四个阶段，发现忠实渲染是瓶颈，且高反馈吸收率未必提高准确率，这为优化视觉推理提供了全新的过程级诊断范式。
• 视觉推理的性能高度**模型与环境依赖**，不存在统一最优的设置。在不同推理配置下，模型表现波动显著，且模型在视觉反馈受损时准确率急剧下降，证明它们确实在利用视觉状态。这一发现意味着部署时需根据具体任务与模型选择合适的交互与渲染策略，不能盲目套用固定模式，为工程化落地提供了重要指导。

方法

框架架构

See2Think 是一种面向多模态大语言模型视觉推理过程的统一评估框架，核心由 See2ThinkBench 基准数据集与 Visual Action-of-Thought (VAoT) 推理记录协议两部分构成。

输入：视觉依赖的开放式问题

See2ThinkBench 包含 1200 个高度依赖视觉信息的开放式问题，覆盖 12 个任务类别，归纳为三大领域：2D 结构化推理（如图表理解、几何分析）、3D 场景推理（如视角变换、物体关系）以及真实世界推理（如照片中的因果推断）。每道题均要求模型在推理过程中生成或利用中间视觉状态（如草图、标注、渲染图），且无法仅靠文本描述正确解答，确保评测的视觉依赖性。

关键模块：VAoT 记录与受控推理设置

VAoT 协议精细记录模型推理链中的每一步：文本思维（自然语言解释）、视觉动作（生成图表、添加标注等操作）、渲染后的视觉状态（中间图像）以及基于该状态的后续推理。评测在四种严格控制的推理环境下进行：

1. 文本链式思维 (Text-CoT)：纯文本推理，无中间图像。
2. 视觉动作无反馈：模型输出视觉操作但不接收渲染结果。
3. 视觉动作有反馈：模型接收渲染图像并基于此继续推理。
4. 带任务相关损坏反馈的干预：刻意破坏渲染图像的某些关键信息，测试模型对视觉状态的依赖程度。

通过记录上述环境下的完整思维轨迹，框架可系统诊断视觉操作的选择合理性、渲染忠实度以及反馈信息利用效率三个层面的能力短板。

输出：过程级诊断与行为分析

评估不仅报告最终答案准确率，更量化视觉动作的相关性、渲染瓶颈（生成图像是否真正反映操作意图）以及反馈吸收率（模型在获得准确视觉信息后是否提升推理）。干预实验通过任务相关的损坏反馈，直接验证模型行为对视觉状态的因果依赖，观察到准确率下降超过 10 个百分点，揭示模型并非仅依赖文本记忆，而是会实质使用中间视觉信息。

与同类方法的差异点

不同于仅关注最终答案正确性的传统基准，See2Think 首次提供面向中间视觉状态的细粒度过程评测，能够分离模型在“生成视觉线索”与“利用视觉线索”两个阶段的不同能力缺陷，为改进多模态推理架构指明了渲染忠实度这一当前最显著的工程瓶颈。

实验

实验设计

See2Think 框架由 See2ThinkBench 基准和 Visual Action-of-Thought (VAoT) 推理记录机制组成。See2ThinkBench 包含 1200 个视觉依赖的开放问题，覆盖 2D 结构化、3D 场景和真实世界推理等 12 个任务类别，严格排除纯文本可解样本。VAoT 在四种受控推理设置下记录模型的文本思维、视觉动作、渲染状态及后续推理，以此全面诊断中间视觉状态的生成、渲染与利用过程。评估涵盖代表性闭源与开源多模态模型。

关键发现

• 视觉推理高度依赖模型与环境组合，没有单一推理设置能跨任务持续占优。
• 过程分析显示模型通常能选择正确的视觉操作，但 渲染保真度 是最突出的瓶颈。
• 高反馈采纳率 并不等同于准确率提升，模型从渲染输出中提取有效信息的能力有限。
• 在人为加入任务相关但损坏的视觉反馈后，模型准确率骤降 超过 10 个百分点，证实其对视觉状态的行为依赖，但这种依赖易受误导。

与基线的对比解读

现有基准多局限于狭窄任务集合或包含大量文本可解样本，且仅以最终答案评估，完全忽视中间视觉状态的利用过程。本文的方法首次将诊断从“答案对错”延伸至“视觉操作的选择—渲染的保真度—反馈的吸收效率”全链条。对比发现，不同模型在相同设置下表现迥异，传统仅看最终准确率的评价方式会掩盖渲染瓶颈或反馈浪费等深层问题，See2Think 为此类细粒度诊断提供了可复用的框架。

行业影响

多模态模型推理透明度的商业化验证框架

See2Think 框架通过 See2ThinkBench 和 视觉思维链 (VAoT) 系统诊断中间视觉状态在推理中的有效使用，这直接面向当前多模态大模型在需要步骤化视觉操作场景下的可靠性痛点。其工业界影响突出体现在以下维度：

• 落地场景：适用于任何依赖多模态模型进行步骤化视觉推理的 SaaS 或平台功能，例如电商商品自动审核（判断多角度商品图是否符合展示规范）、医疗影像辅助分析（在影像上标注区域并推理病变演化）、设计工具中的流程图/草图理解、自动驾驶感知校验等。这些业务要求模型不仅能输出答案，还需生成可审计的中间视觉状态，以确保安全与合规。

• 商业价值：通过 See2Think 的受控干扰实验，企业可以量化模型对视觉状态的依赖程度，识别渲染保真度这一核心瓶颈，从而针对性优化模型架构或提示流程。这直接降低因模型虚构视觉操作（如“画个框”实际未执行）导致的线上故障成本，提升自动化准确率与用户信任。对提供多模态 API 的厂商，该基准可作为第三方面板，向客户证明模型的推理稳健性，形成差异化竞争力。

• 与现有工作流的接口：可将 See2ThinkBench 数据集（1,200 个视觉强依赖问题，12 个任务类）集成到 CI/CD 评估流水线中，使用 VAoT 记录文本思路、视觉动作、渲染状态及后续推理。评估脚本可基于 GitHub 仓库 构建，输出模型行为报告。企业可将报告字段写入现有监控系统（如 Grafana 面板），持续跟踪模型在视觉推理忠实度上的变化。

具体用例：

• 电商场景：商品主图合规检测中，模型需在图中标出违规区域并说明理由。See2Think 能验证其标出的框是否真实渲染、且推理是否基于该渲染状态，避免“信口开河”导致的违规漏检。
• 企业服务场景：客户支持中处理用户上传的技术流程图，模型需逐步解析并调用可视化工具。See2Think 框架可筛选出易受反馈噪声影响的模型，帮助选择最稳定的版本部署。

局限

• **基准覆盖与泛化性**：See2ThinkBench 虽包含 1200 个问题、12 个类别，但仍集中于 2D 结构化、3D 场景及现实世界推理三类抽象层次。视觉动作空间（如绘制、标注、工具调用）的覆盖有限，可能遗漏某些特定领域的常用中间视觉操作（例如医学影像中的分割草图）。此外，问题均为视觉依赖设计，未探索部分文本可解情境下模型对视觉状态的过度依赖或忽略，且对跨任务泛化的诊断仍待补充。基准的静态快照属性也可能无法捕捉模型在持续交互式视觉推理中的行为演变。
• **反馈模拟的保真度**：VAoT 通过任务相关的损坏反馈干预来探测模型对视觉状态的依赖，但人工注入的渲染错误（如扭曲、遮挡）可能无法完全代表真实生成式视觉输出中的自然退化和多样性。这种简化可能高估或低估模型在实际部署中对不完美视觉信息的鲁棒性。同时，控制推理设置（如是否使用视觉输出）的四种对比条件虽已系统化，但尚未涵盖计算成本、时延等实际约束对模型选择使用视觉中间步骤的影响，制约了将发现直接转化为工程优化建议的能力。
• **依赖检测的归因深度**：当前分析主要通过准确率下降与反馈吸收率等行为指标推断模型对视觉状态的依赖，缺乏对内部表征的可解释性探查（例如，视觉 token 对后续文本推理的因果效应分析）。难以区分模型是真正从渲染图像中提取了信息，还是仅仅根据 prompt 中视觉动作的描述产生了统计性关联回答。对“利用”的定义仍停留在黑盒层面，若要指导模型架构改进，需补充更细粒度的中间表征分析与控制实验。