SciIR: 用于科学图像推理生成的大规模训练数据集与基准

TL;DR 为弥补 T2I 模型科学推理缺陷，本文构建了 82k 图文数据集 SciIR-82k 和符号学三层次基准 SciIR-Bench，微调后模型得分从 35% 提升至 43%。

问题

当前文本到图像（T2I）生成领域，模型在创作真实感图像上进展迅速，但面对科学图像（如论文插图、原理图、数据可视化）时，其生成结果常出现结构错误、语义不符或逻辑断裂，严重制约了AI在科研与教育场景的实用价值。

现有主流T2I数据集（如LAION、COCO）以自然场景为主，稀缺高质量科学图文对，且未对图像中的科学推理进行标注。评估基准如TIFA、DrawBench主要检验图像-文本的浅层对齐，无法考察模型是否理解实体结构（Entity Structure）、科学过程（Scientific Process）及科学定律（Scientific Law）等深层语义。因此，即便强大如DALL·E 3或Stable Diffusion 3，在生成带箭头、标注、精确空间关系的科学图表时仍会出错。

该问题难点在于：科学图像不仅是视觉元素的组合，更蕴含领域知识和因果逻辑。例如，细胞结构图需正确显示细胞器之间的空间关系，化学反应图需遵循化学方程式。这要求T2I模型具备可解释的推理链，而非仅依靠统计关联。随着AI for Science兴起，具备科学推理能力的图像生成模型成为重要技术缺口，对于加速科研表达、辅助教学材料生成具有迫切需求。

类似场景：如同自动驾驶感知需要从2D图像中恢复精确3D几何与运动，科学图像生成也要求模型超越像素统计，显式建模符号与规则，才能从“画得像”迈入“画得对”。

核心洞察

• 借助 Peirce 符号学三分法将科学图像推理形式化为 Icon（实体结构）、Index（科学过程）和 Symbol（科学定律）三个维度，突破了一般 T2I 对常识性视觉语义的依赖，为科学图像生成提供了可验证、可量化的推理框架。现有科学图像数据集多聚焦于图表或域转换，未系统区分这类层次化逻辑，导致模型难以捕捉科学图像特有的严谨性与因果链，而 SciIR-82k 的数据组织直接使模型可针对不同维度进行诊断和优化。
• SciIR-Bench 的原子检查表评估机制将传统的结果导向准确性转变为过程导向的细粒度验证，通过生成可独立判断的是非题来评价模型在每个推理步骤的正确性，对比现有基准仅依赖整体相似度或模糊语义对齐，能更精确暴露模型在结构、过程或定律层面的缺陷，为研究者提供直接可操作的改进信号。
• SciIR-82k 引入科学推理思维链（Sci-RCoT），显式标注从图示元素到科学逻辑的推理路径，不同于以往科学图像-文本对仅提供描述性标题。该设计使微调模型（如 Qwen-Image-SciIR）能够学习内部推理过程，从而在生成时更好地遵守科学约束，并在基准测试中大幅提升得分，验证了将隐式科学逻辑外化为文本监督信号的有效性。

方法

方法论概述

论文提出 SciIR 框架，围绕科学图像生成的语义对齐与逻辑推理瓶颈，以 皮尔士符号学三元组 (Icon/Index/Symbol) 为理论基础，构建了大规模训练数据集 SciIR-82k 与评估基准 SciIR-Bench，并基于该数据集微调得到 Qwen-Image-SciIR 模型。

核心流程：输入 → 关键模块 → 输出

1. 数据输入与处理
   从最新科研出版物中收集高质量科学图像-文本对。经过多面板裁剪、图像标准化、VLM 双阶段过滤（自动过滤 + 人工抽查），最终保留 82,000+ 样本，确保图像清晰、文字关联紧密。

2. 符号分层与推理链标注
   依据符号学三分法，将科学推理分解为三个维度：

   • 实体结构 (Icon)：图中对象、组件及其空间关系；
   • 科学过程 (Index)：因果、时序或机制性流程；
   • 科学定律 (Symbol)：通用原理、公式或抽象规则。
     对每个图像-文本对，采用层次化多标签策略标记其对应的符号维度。随后生成 Sci-RCoT（科学推理链），显式描述从视觉元素到科学结论的逻辑推导步骤，为模型提供过程监督。

3. 评估基准构建：SciIR-Bench
   基准测试集与三大符号层级对齐，摒弃传统的整体评分，转而引入 原子检查表 (Atomic Checklist)。检查表将“科学准确性”这一结果导向指标拆解为一系列过程导向的细粒度可验证问题，并由自动化评审模型（基于 VLM）逐项审核，最终通过严格的评分聚合得到最终得分。

4. 模型微调与输出
   在 SciIR-82k 数据集上对 Qwen-Image 进行微调，融入 Sci-RCoT 作为输入条件，迫使模型学习显式推理。微调后的模型 Qwen-Image-SciIR 在 SciIR-Bench 上取得 43% 的最终得分，相比基础模型（约 35%）有显著提升，证明了结构化推理数据对科学图像生成的有效性。

差异点：与传统 T2I 数据集仅提供图文对且侧重常识视觉对齐不同，SciIR 通过符号学分类和推理链标注，首次将科学逻辑显式注入生成模型的训练与评估，弥补了现有方法在严谨科学推理上的空白。

实验

实验设计

本文在 SciIR-82k 数据集上对 Qwen-Image 基础模型进行微调，得到 Qwen-Image-SciIR，并在 SciIR-Bench 基准上评估科学图像推理能力。基准根据符号学三元组划分为 实体结构 (Icon)、科学过程 (Index) 和 科学定律 (Symbol) 三个层次，采用 原子检查表 (Atomic Checklist) 将科学准确性评估转化为过程导向、可验证的细粒度问题。

关键发现

实验显示，当前 T2I 模型在科学图像生成中普遍缺乏逻辑推理能力，基线模型平均得分仅 35%。经 SciIR-82k 数据集微调后，Qwen-Image-SciIR 将得分提升至 43%，相对提升 22.9%。这表明引入 科学推理链思考 (Sci-RCoT) 的数据标注策略有效增强了模型对科学视觉逻辑的建模。

基线对比解读

基线与微调模型之间的 8 个百分点差距，反映了结构化科学知识注入的初步效果。然而 43% 的绝对分数仍偏低，说明科学图像生成的核心挑战——精确语义对齐与多步逻辑推理——远未解决。SciIR-Bench 的三层解耦评估揭示了模型在不同符号学维度上的性能差异，为后续定向优化提供了诊断依据。该工作为科学视觉内容生成确立了数据驱动与符号学指导相结合的新范式，但离实用级科学插图自动生成仍有较大距离，未来需探索更强的推理架构与更大规模高质量科学语料。

行业影响

落地场景

SciIR 聚焦科学图像的语义对齐与逻辑推理，其技术可直接赋能：

• 科研出版与预印本平台：为作者提供“从摘要生成示意图”的辅助工具，自动生成符合领域规范的原理图、方法论流程图，减少对专业插画师的依赖。
• 教育科技与医学传播：在线课程、电子教材、患者教育系统中，根据知识点描述自动生成解剖结构图、病理机制图或实验装置图，实现图文按需生成。
• 工业研发文档：为工程技术报告、专利说明自动生成系统框图、数据流图等，加速技术文档撰写。

商业价值

• 降本：科学插图的人工设计成本高、周期长，SciIR-82k 微调后的模型可将插图生成时间从天级压缩至分钟级，大幅降低外包装转为内部自动化。
• 提效与一致性：统一数据集与评估基准保证生成图像在符号、风格、科学准确性上的高度一致，避免多人协作中风格不统一的问题。
• 增收机会：平台可将科学图像生成包装为付费 API 服务（如与 Overleaf、Notion 等知识工具集成），或作为 SaaS 产品的增值功能。

与现有工作流接口

• 内容管理系统 (CMS) 或写作工具集成：通过 REST API 将 Qwen-Image-SciIR 等模型嵌入到科学写作环境，用户在编辑器中输入文本描述即可生成插图，并支持通过 Atomic Checklist 自动审核科学合理性。
• VLM 验证回路：生成结果可接入视觉语言模型进行事实核验，确保符号、公式、实验流程的准确性，形成“生成–验证–修正”闭环。
• 与 Clipart/Icon 库互补：传统工具提供静态元素，SciIR 可动态生成完整、上下文相关的插画，减少手动拼接组装工作。

典型用例

1. 预印本平台图示助手：用户在 arXiv 提交页面输入“描述一个基于注意力机制的编码器-解码器架构”，系统自动生成带有正确数学符号和连接关系的架构图，并标注注意力分数流向。
2. 基础教育数字化教材：教材出版社上传章节文本，自动生成包含细胞分裂过程、化学反应机理的分步示意图，确保每个阶段的结构与箭头逻辑正确，降低定制插画成本。

局限

• - **模型性能提升有限**：微调后的 Qwen-Image-SciIR 在 SciIR-Bench 上得分从 35% 提升至 43%，绝对性能仍然较低，说明当前 T2I 模型在科学推理生成上离实用化尚有较大距离。实验仅基于 Qwen-Image 单一基模型，未探索不同架构或更强基座（如更大参数量的扩散模型）的潜力，对泛化至其他科学领域的适用性缺乏验证，实际科研制图中对精度和可靠性的需求远未满足。
• - **数据集覆盖偏倚与规模限制**：SciIR-82k 多提取自计算机视觉领域的前沿论文，可能致使其在材料科学、生物医学等微观结构或特定实验流程上示例不足。82k 的规模相比通用 T2I 数据集（如 LAION-5B）极其有限，科学领域的多样性受限于源文献范围，模型可能难以捕捉罕见或复杂的科学现象，泛化时易出现过拟合或幻觉。此外，符号学三分法虽提供了理论框架，但对某些交叉学科的图像可能分类模糊，影响标注一致性。
• - **自动化评估的潜在误差**：SciIR-Bench 依赖 VLM 生成 Atomic Checklist 并自动评分，但 VLM 本身对科学知识理解的深度和广度尚不完善，可能导致评估漏判或误判。Strict Scoring Aggregation 要求所有原子问题均正确才得分，过于严格，可能低估生成图像的部分正确性。附录中虽有人工验证和相关分析，但正文未充分论证自动指标与专家主观评价的相关性，评估的效度和一致性有待更大规模的人类研究确认。