WildTableBench: 在野生环境中对多模态基础模型进行表格理解基准测试

TL;DR 首个面向真实场景表格图片的问答基准 WildTableBench，用 21 个前沿多模态模型测试，仅一个超 50% 准确率，暴露结构感知与数值推理的严重短板。

问题

问题背景

多模态基础模型在表格图像分析上的应用正受到工业界与学术界的共同关注，因其能够直接从自然场景图片中提取结构化信息并执行数值推理，服务于金融、医疗、档案数字化等多个数据密集型行业。当前评测主要依赖结构化文本表格或干净渲染图像，而真实世界中的表格图像（如论坛截图、网页照片）具有高度视觉多样性，现有基准未能覆盖这些情况。

现有方法局限

现有表格理解评测大多基于以下两种范式：

• 使用 HTML/LaTeX 源码 直接解析表格结构，绕开视觉感知环节，无法检验模型从像素中还原行列关系的能力。
• 采用程序化渲染的 PDF 或截图，这些图像通常布局规整、无噪声、字体清晰，与真实场景中的模糊、倾斜、复杂边框、手写标记、混合字体等差异显著。

因此，已有评测高估了模型的实际能力，且在需要细粒度空间推理（如合并单元格检测、跨行/列数值比较）的任务上严重缺乏诊断性。例如，某模型在渲染表格上准确率达 80%，但遇到带有背景纹理或透视变形的自然图像时可能骤降至 20%，这种性能塌缩无法被现有基准量化。

为什么这个问题难且重要

真实表格图像的理解是视觉感知与结构化推理的强耦合任务，技术挑战包括：

• 结构感知：模型需要准确分割单元格、识别行/列索引、处理不规则合并与跨页表格，这比自然场景文本检测更依赖空间关系建模。
• 数值推理：在文本转录不完美的情况下，模型仍需执行求和、平均、比较等运算，要求容忍 OCR 错误并具备鲁棒的符号推理链。
• 领域泛化：表格图像来自金融报表、科学论文、工程图纸等截然不同的分布，模型常因 unseen 布局或专业符号而失败。

工业界迫切需要这一能力以实现自动化发票处理、财报分析、临床试验数据提取等，但现有模型在 WildTableBench 上最高准确率仅 50.1%（仅 1 款模型超过 50%），其余模型在 4.1% 到 49.9% 之间，暴露了巨大的能力缺口。

行业类比

类似 自动驾驶中的非理想天气感知，如果只在晴天测试，永远无法发现雨雾中摄像头失效的风险；WildTableBench 为表格理解提供了“恶劣天气”诊断集，推动模型走出干净数据的舒适区。

核心洞察

• **真实表格图像的视觉复杂性远超现有基准覆盖范围，现有评估严重低估了实际应用的难度。** 当前主流表格理解评测大多基于结构化文本（如 WikiTableQuestions）或理想渲染图像（如 TableBench），而 **WildTableBench** 首次从在线论坛和网站收集高信息密度的自然表格图像，涵盖 17 种问题子类型和多种布局、领域。这种设计直接暴露了模型在面对非标准化视觉元素（如合并单元格、手写批注、低分辨率扫描件）时的脆弱性，而此前的评测环境无法反映这类真实挑战。对工程实践而言，这意味着部署表格理解模型前，必须使用此类真实场景基准进行压力测试，否则会高估模型在复杂业务单据、报告等应用中的可靠性。
• **当前多模态基础模型在表格图像的结构感知与数值推理上存在系统性的能力短板，性能天花板极低。** 在 **WildTableBench** 上，仅有一个模型（GPT-4 系列某个版本）的准确率超过 50%，其余所有模型（共 21 个，含开源和闭源）的精度在 4.1%–49.9% 之间。诊断分析进一步揭示，模型在 **结构感知**（如行列关系理解）和 **数值推理**（如跨单元格计算）这两类核心能力上频繁出错，且现有预训练范式未能有效注入此类 structured visual parsing 能力。这与在干净文本表格上的高表现形成鲜明对比，凸显了从“读文本”到“理解图像中的表格”这一跃迁的工程鸿沟。后续优化方向应聚焦于增强视觉编码器对表格网格结构的建模，并设计端到端的结构感知推理任务。

方法

数据构建流程：从真实表格图像到诊断性 QA 基准

输入：从公开论坛、网站等自然场景采集的 402 张高信息密度表格图像，涵盖金融、学术、工程等多元领域。图像保留真实视觉挑战：光照不均、手绘线条、复杂排版、混合字体与语言、视角倾斜等，平均每张图像包含 12.3 行、6.7 列，文本 token 数可达 2000+。

关键模块分为三步。

1. 图像采集与筛选：通过关键词爬取结合人工审查，严格过滤非表格图像（如纯图表、示意图），只保留包含结构化行列表征的图像。最终数据集覆盖电子表格截图、文档扫描件、网页快照及手机拍摄图片，确保场景多样性。

2. 多维度问答对标注：针对每张图像，训练有素的标注员手工创建问题，并经过多轮交叉验证和唯一答案校验。最终生成 928 条 QA 对，按认知维度分为 5 大类 17 子类：

   • Factoid QA：单元格值检索、行列名识别
   • Numerical Reasoning：求和、均值、计数、百分比计算等
   • Structural Perception：合并单元格、层级表头、行列隶属关系判断
   • Comparative Reasoning：跨行列数值对比、排序、极值定位
   • Local/Global Context：局部文本提取与全局标题/脚注理解 该设计直接针对真实表格理解所需的 结构感知 与 数值推理 核心能力。

3. 模型评估管线：将图像与问题同时送入多模态大模型（MLLM），要求零样本直接回答。评估指标为 Exact Match (EM) 与 GPT-4 辅助评分（容忍数字格式或同义短语）。统一评测了 21 款前沿模型，包括 GPT-4o、Gemini Pro、CogVLM、LLaVA-NeXT 等开源与闭源代表。

输出与诊断：排行榜显示仅一款模型准确率刚过 50%，其余在 4.1% 至 49.9% 之间。进一步通过错误分类将失败归因为 感知错误、推理错误、格式错误，量化证实视觉结构感知与多步数值推理仍是当前 MLLM 的显著短板。

与同类工作的核心差异：现有基准（TabFact、WikiTableQuestions、TableQA）依赖结构化文本或 LaTeX 渲染的干净表格，WildTableBench 首次聚焦真实场景中非受控的表格图像，迫使模型同时应对视觉噪声和语义歧义，更贴近高价值业务场景的实用需求。

实验

实验设计

WildTableBench 是首个面向真实场景表格图像的问答基准，包含 402 张高信息密度图像（来自论坛与网站，涵盖多领域）和 928 个人工标注问题，划分为 5 大类 17 子类。评估采用零样本设定：为每张图像提供问题，要求模型直接生成答案，使用统一的 prompt 模板，并以宽松匹配策略（归一化、去空格等）计算准确率。共测试 21 个前沿多模态基础模型（含 GPT-4V、Gemini、Qwen-VL 等闭源与开源模型）。

关键发现

• 整体表现低迷：仅 1 个模型准确率超过 50%，其余模型集中在 4.1%–49.9%，说明当前多模态模型在真实表格理解上存在严重短板。
• 结构性感知差：模型难以准确识别层级表头、合并单元格、无边框表格等复杂布局，导致信息提取错误。
• 数值推理弱：涉及多步计算或跨行列对比的问题（如“增长率排序”）错误率极高，暴露出视觉特征与符号推理的脱节。
• 问题类型分化显著：事实检索型问题表现稍好，而需要逻辑推断或数值运算的子类则接近随机。

与同类工作对比及工程启示

传统表格理解评测多基于 LaTeX 源码 或 干净渲染图（如 TabFact、TableVQA），模型在此类场景下准确率可达 80%–90%，但WildTableBench 用真实拍照/扫描图像将难度推至现实上限，揭示出合成基准与实际应用的巨大鸿沟。对比之下，本文发现：

1. 模型在结构化文本上习得的表格编码能力难以迁移到噪声、扭曲、光照不均的自然图像。
2. 现有视觉编码器（如 ViT）对密集文本布局的细粒度对齐不足，需要融合文本检测/识别模块的端到端设计。
3. 推理链（Chain-of-Thought）的 naive 应用并未显著提升准确率，暗示需要针对表格逻辑的专门解码策略。

原作者论断：模型在“in-the-wild”表格上的失败并非数据量问题，而是结构感知与数值推理的基础能力缺失，需从架构层面进行改进。

对工程落地的启示：直接接入通用多模态 API 处理表单扫描件仍有较高错误率，建议先行使用 OCR 管道提取线框与文字，再通过布局感知的大语言模型进行结构化与推理，这是当前更稳妥的生产路径。

行业影响

落地场景

WildTableBench 所瞄准的真实世界表格图像理解能力，对大量企业级应用至关重要。此类表格常见于：

• 企业服务：合同关键条款提取、财务报表自动化解析、发票/单据信息录入；
• 金融风控：扫描版资信报告的数值推理与交叉验证；
• 电商与内容平台：商品规格表对比、截图中的竞品信息抽取；
• 医疗与教育：化验单结构识别、试卷中复杂表格数据的问答解答。

当前多模态基础模型在这些场景下的准确率仍普遍低于 50%，尤其涉及嵌套表头、跨行列合并、密集数值推理时表现不佳，该 Benchmark 直接暴露了模型“看得懂文字但读不懂表格结构”的核心短板。

商业价值

从商业回报看，表格图像理解能力的提升主要作用于 降本 与 体验提升 两条线：

• 降本：在 RPA、智能文档处理（IDP）中，代替人工进行高重复性的表格数据转录与校验，将处理成本降至 1/10 甚至更低。
• 体验提升：在智能客服、个人助手等场景中，用户可直接上传表格截图并提问，获得即时答案，无需手动整理数据，大幅降低使用门槛。

以电商场景为例，商家上传竞品报价表格截图，AI 若能精准提取并对比商品属性与价格，可直接辅助定价策略，这便是 增收 的间接体现。

与现有产品/工作流的接口

该 Benchmark 的设计天然适合作为 评测与迭代工具 嵌入现有 AI 产品管线：

1. 评测阶段：在 OCR + LLM 的文档问答 pipeline 中，可直接用 WildTableBench 的 928 道多子类问题作为回归测试集，量化新版模型的表格理解能力变化，尤其可在 结构感知（structural perception）与 数值推理（numerical reasoning）维度上进行细粒度诊断。
2. 微调数据源：其 402 张高信息密度表格图像与对应问答对，可作为 SFT 样本直接用于微调多模态模型（如 GPT-4V、Qwen-VL 等），补齐对复杂版式表格的泛化短板。
3. 监控与告警：在金融、医疗等高风险场景，可将该 Benchmark 中的典型失败 case 转化为业务质量门禁，上线前强制通过。

具体落地用例

• 智能化发票管理平台：企业用户上传大量扫描/拍照发票，要求自动提取税号、金额、日期等字段并进行核验。传统 OCR 对倾斜、褶皱、印章遮挡表格线的情况易出错，而经过 WildTableBench 针对性微调的多模态模型可更鲁棒地理解表格结构，输出结构化 JSON，直接对接财务系统。
• 电商商品比价机器人：用户截取多个商品表格图片发送给机器人，询问“哪个产品性价比最高？”系统需同时解析多个表格的列语义（如价格、评分、配置），并进行跨表格数值比较。当前开源模型在该 Benchmark 上不足 50% 的准确率说明距离产品化仍有差距，但诊断分析指出的 复杂行列合并感知 和 多步推理 弱点，可为算法团队提供明确的优化抓手。

局限

• 数据规模与覆盖面受限：WildTableBench 目前包含 402 张表格图像和 928 个问答对，相比 ImageNet 等大规模基准，数据量较小，可能导致对模型能力的评估不够全面。图像仅来源于网络论坛和网站，域分布有限，可能无法覆盖金融、医疗等专业表格场景，限制了结论的泛化性。
• 任务定义单一，缺乏多维评估：基准仅关注视觉问答（VQA）任务，未包含表格结构识别、表格类型分类、信息提取等更多下游任务。这种单一的任务形式可能无法全面反映模型在真实表格理解场景中的多种需求，例如直接从表格图像中进行数据抽取或交互式查询。
• 依赖人工标注，扩展成本高：所有问题和答案均为人工标注和验证，这一过程耗时且昂贵，限制了数据集的快速迭代和下游任务适配。此外，人工标注可能引入主观偏差，例如问题难度不均或表述歧义，影响评估的稳定性。