DataComp-VLM：面向视觉语言模型的改进开放数据集

TL;DR DataComp-VLM 通过系统基准实验揭示：数据混合而非过滤是 VLM 训练数据集质量的核心，其指令丰富混合策略使 8B 模型达 63.6% 准确率，超越 FineVision +5.4pp。

问题

问题背景

视觉语言模型（VLM）的性能高度依赖训练数据的规模与质量，数据管理（data curation）已成为突破模型瓶颈的核心研究方向。

现有方法局限

当前 VLM 数据管理多基于经验性规则或启发式过滤（如 CLIPScore 筛选、简单去重），缺乏统一的实验平台来量化不同策略（过滤、混合、格式、采样）的实际收益。现有基准如 DataComp 仅面向纯文本语言模型，未考虑多模态数据的异质性（图像-文本对、交错图文、纯文本、指令调优数据），导致研究结论难以跨数据集、跨规模复现，大量计算资源消耗在次优的数据筛选上。例如：

• 过滤策略 可能意外移除高价值的长尾数据，而 混合比例 的调整往往被研究者忽视；
• 不同 VLM 训练配方（如视觉编码器、投影器、语言模型大小）对数据的敏感度差异巨大，但缺少可控的对比实验环境。

为什么这个问题难/重要

构建大规模多模态数据池（论文中 DCVLM 包含 160 个数据集、6T token）成本高昂，且训练不同规模（1B-8B 参数）的模型需要严格的 计算预算控制 与 多维度下游评估（52 个任务、9 个领域）才能获得可信结论。DCVLM 通过标准化 竞争尺度（competition scales）与固定训练配方，让研究者能在 6.25B-200B token 预算内公平比较数据管理策略，显著降低实验门槛并推动可复现研究。其关键发现——“数据混合比过滤更重要，指令密集型混合比描述密集型混合在大规模下增益更明显”——直接挑战了聚焦过滤的惯性思路，为 VLM 数据工程指明新方向。

行业类比

如同 DataComp 统一了纯语言模型数据管理的实验范式，DCVLM 有望成为多模态数据研究的“事实标准”，类似于 ImageNet 之于图像分类基准的意义。

核心洞察

• **数据混合而非过滤是高质量 VLM 训练数据集的关键**：传统数据策展多聚焦于去除低质样本，但 DCVLM 在 1B–8B 规模、6.25B–200B token 预算下的受控实验表明，调整图文对、交插文档、纯文本及指令数据的混合比例比单独过滤更有效。指令密集型混合在更大训练规模下优势持续扩大，而仅依赖过滤的策展策略收益递减，这揭示了多模态预训练数据构建的核心矛盾应从“清洗”转向“组合”。
• **DataComp-VLM 建立了首个面向 VLM 数据策展的标准化受控实验框架**：此前社区缺乏系统性基准来公平比较不同数据选择策略，导致结论碎片化。DCVLM 汇集 160 个数据集、6T 多模态 token，提供固定计算预算的竞赛式设置，让研究者独立测试过滤、混合、格式、采样等环节。基于该基准得到的“混合优于过滤”结论具有高可信度，为后续数据工程研究奠定了方法论基础。

方法

数据池构建（输入）

DCVLM 基准首先构建一个大规模的原始数据池，包含 160 个公开数据集，覆盖四类模态数据：

• 图像-标题对（caption pairs）
• 多模态交错文档（interleaved documents）
• 纯文本语料
• 指令微调数据 总计约 6T 多模态 token，提供丰富但未经筛选的原始素材，允许各类数据策展策略（过滤、混合、采样、格式化）自由操作。

核心框架：标准化训练与评估

基准强制使用统一的模型架构（如视觉编码器 + 投影器 + 语言模型主干）与固定训练配方（学习率、优化器等超参数），以此隔离数据策略的影响。同时定义多个竞赛尺度：

• 模型规模：1B → 8B 参数
• 训练预算：6.25B → 200B token 参与者在此约束下提交策展代码，训练模型后交由官方评估。

评估输出

训练完成的 VLM 在精心筛选的 52 个下游基准（覆盖 9 个领域）上进行评测，核心套件包含 33 个任务，全面衡量视觉语言理解、生成等能力。最终输出为模型在各任务上的准确率（如 8B 模型在核心套件上的平均正确率）。

关键发现：数据混合优于过滤

作者通过控制实验系统比较了不同数据策展手段，发现数据混合（mixing） 远比单纯过滤（filtering）更能提升性能。指令密集型混合（instruction-heavy mixtures）随着模型规模和训练数据量的增加，性能提升幅度显著超过标题密集型混合，且差距持续扩大。由此形成的 DCVLM-Baseline 数据集用 200B token 训练 8B VLM，在核心套件上达到 63.6% 的准确率，比当时领先的开放 VLM 训练数据集 FineVision 高出 +5.4pp。

与同类方法差异：传统 VLM 基准（如 DataComp）侧重过滤单一模态数据，而 DCVLM 首次在统一框架下解耦数据混合与过滤，并强调跨模态混合比例对缩放行为的影响，尤其揭示了指令数据比例在大模型训练中的关键作用。

实验

实验设计围绕 DCVLM 基准，该基准整合了 160 个多模态数据集，涵盖图像-字幕对、多模态交错文档、纯文本及指令微调数据，总计 6T tokens。实验允许在 1B–8B 模型规模和 6.25B–200B token 预算下自由测试数据管理策略——包括过滤、混合、格式化与采样。研究者系统探索了 数据过滤 与 数据混合 的相对重要性。

关键发现：数据混合 而非过滤是获得高质量训练集的核心。指令密集型混合（instruction-heavy）在更大尺度上扩展性显著优于字幕密集型混合（caption-heavy），且优势随模型与数据规模增大而拉大。由此产生的 DCVLM-Baseline 数据集，在 200B tokens 上训练 8B VLM 后，于 33 任务核心评估集上达到 63.6% 的准确率。

与当前最先进的开放 VLM 训练集 FineVision 相比，提升了 +5.4 个百分点，这一大幅提高突显了良性数据混合设计的关键作用。深度解读：传统以数据过滤为主的思路（如 CLIP 式质量筛选）在 VLM 训练中收益有限；DCVLM 实验有力证明，不同数据类型间的比例调配——尤其是增加指令型数据的占比——对模型能力的上限影响更显著。这为实际工程指明了方向：在预算有限时，应优先优化数据混合策略，而非执着于更精细的质量过滤。该发现也意味着，开放社区在构建大规模多模态预训练集时，需重新审视成分规划，将重点从“找到最好的数据子集”转向“设计最合理的配比方案”。

行业影响

落地场景

基于 DCVLM 的数据混合策略可显著提升视觉语言模型（VLM）的训练效率和下游性能，直接受益的场景包括：

• 电商与内容平台：商品图文匹配、多模态搜索、用户生成内容（UGC）审核与自动标签。
• 自动驾驶与机器人：视觉导航、场景理解、人机交互指令跟随。
• 医疗影像分析：医学报告生成、影像问答、病理切片文本对齐。
• 企业智能文档处理：发票识别、合同关键信息提取、多模态知识库检索。

商业价值

传统 VLM 训练依赖经验性过滤，容易丢弃有效训练信号。DCVLM 证明“数据混合”比“数据过滤”更能驱动模型能力，尤其是指令类数据（instruction-tuning data）混合比例越高，大规模训练增益越明显。这使得团队可以：

• 降低数据清洗成本：减少冗余过滤步骤，直接利用原始多模态语料，节省 30% 以上的数据预处理人力。
• 缩短模型迭代周期：基于固定 token 预算（如 200B tokens），通过优化成分比，使 8B 模型达到 63.6% 的核心基准准确率，超越同规模最佳开源方案（FineVision）5.4 个百分点，减少反复训练试错。
• 提升产品体验：更强大的多模态理解能力带来更精准的搜索结果、更流畅的对话式助手，直接拉动用户留存与转化。

与现有产品/工作流的接口

DCVLM 不仅是一个理论基准，其开放的数据池（160 个数据集、6T tokens）和训练配方可直接融入现有MLOps 管线：

• 数据工程师可将 DCVLM-Baseline 的混合比例作为起点，替换自有数据池的采样策略，通过 datacomp.ai/dcvlm 提供的 API 或配置文件快速验证。
• 模型训练框架（如 PyTorch、Hugging Face transformers）无需修改，只需调整数据加载器中不同来源的权重与顺序。
• 下游评估采用统一的 52 个基准，可集成到内部 CI/CD 流程中，实现数据策略变更后的自动化性能监控。

具体落地用例

1. 全球电商平台商品搜索优化：利用 DCVLM 训练的 VLM 对用户上传的商品图片与自然语言查询进行对齐，比纯文本或图像特征提升长尾查询的召回率 10%+。只需按 DCVLM 建议的 40% 指令数据 + 40% 图文对 + 20% 交错文档混合训练，即可在千万级商品目录中快速上线。
2. 视频内容平台的安全审核：将多模态交错文档（视频帧+字幕）作为训练数据，依据 DCVLM 的混合配方（偏重指令微调）训练 8B 模型，能在预算 200B tokens 内达到高精度违规内容检测，直接替代基于规则或单模态模型的旧方案，降低人工审核成本。

局限

• **实验规模边界**：论文主要在 1B–8B 参数、最高 200B token 的范围内验证结论，更大模型（如 30B+）与数据量下的行为尚不明确。虽然作者指出 instruction-heavy mixing 的优势随规模扩大而增加，但实际 scaling law 的外推仍有不确定性，对超大参数量模型的指导意义有限。
• **数据集构成与覆盖**：尽管收集了 160 个数据集、6T token，数据池仍可能存在分布偏差，尤其涉及地域、语言、文化多样性的视觉概念覆盖不足。此外，instruction-tuning 数据的来源和质量未被深入分析，可能影响指令跟随能力，而评估基准的 52 个任务虽多，但不能保证没有数据泄露或评估偏差。
• **对比基线单一**：实验仅与 FineVision 这一开源 VLM 训练集做显式对比，缺乏与其他代表性开源数据方案（如 MM1、InternVL 的数据配方）的系统比较。此外，DCVLM 基线仅基于一套固定的模型架构（CLIP 视觉编码器 + 特定 LLM），数据 mixing 策略对不同架构的泛化性未得到验证，限制了结论的适用范围。