训练AI"看图说话"的数据配方，原来关键不在筛选，而在混合！

发布时间：2026-07-17 06:06:43 来源：安智兰德资讯网 作者：综合

这项由斯坦福大学、训练选图宾根AI中心、看图马克斯·普朗克信息研究所、说话谷歌、据配ETH苏黎世联邦理工学院、关键华盛顿大学等数十家全球顶尖机构联合完成的不筛研究，已于2026年6月以arXiv预印本形式发布，混合论文编号为 arXiv:2606.28551。训练选感兴趣的看图研究者可通过该编号获取完整论文。

视觉语言模型（VLM）——即那些既能“看图”又能“说话”的说话AI——背后究竟需要什么样的数据“食材”？这是当前AI研究圈的核心谜题。正如厨师钻研火候与刀工，据配却往往忽视食材搭配的关键本质，这项研究直击这一核心，不筛为VLM的混合数据构建提供了迄今为止最系统、最全面的训练选“食谱”答案。

这类AI已深入生活：描述照片、解读图表、诊断X光片。然而，训练此类模型需要海量数据，且关于“数据如何筛选与搭配”缺乏统一的实验框架。为此，研究团队构建了 DCVLM (DataComp for VLMs)基准，旨在填补这一空白。

一、AI的“超级食材库”：160个数据集，6万亿词元

在揭示结论前，需先了解研究团队搭建的庞大“原料仓库”。团队整合了160个公开数据集，形成总量达 6万亿个多模态词元（包含图文信息片段）的数据池。

这160个数据集被划分为四大类“基础食材”：

1. 图文配对数据：数量最庞大，包括DataComp-1B、ReLAION-2B等网络爬取数据，以及PixMo-Cap等人工标注的高质量数据。
2. 多模态交织文档：源自网页、PDF、论文等混合内容（如MINT-1T、OmniCorpus），保留原汁原味，质量参差不齐。
3. 纯文字数据：防止AI在学会“看图”后遗忘“说话”能力，涵盖FLAN、SlimOrca等指令微调数据及数学、编程等专业文本。
4. 多模态指令微调数据：核心精华，由人工或AI生成的“问答对”组成，覆盖知识问答、图表理解、数学推理、OCR、医学影像等八大能力方向。

数据池刻意保持极高多样性：涵盖20多种语言（以英中为主），图像类型包括自然照片、合成图、表格、手写体等，质量跨度从原始爬取到专家标注。这种设计旨在模拟真实环境中的变数。

此外，团队实施了严格的“防作弊”机制：通过图像相似度检索和文本哈希比对，剔除了训练数据中与52个评测基准重叠的内容，确保实验结论的纯净性。

二、实验台搭建：固定模型，只变配方

DCVLM的核心逻辑是控制变量实验。团队固定了模型架构与训练方法：采用仿照InternVL3设计的架构，由视觉编码器、连接模块及Qwen2.5语言模型组成，三者同步更新。

为适配不同算力资源，团队定义了四个规模级别（类似餐厅套餐）：

• Small：10亿参数，62.5亿词元，约80 H100 GPU小时。
• Medium：20亿参数，250亿词元，约640 GPU小时。
• Large：40亿参数，1000亿词元，约5120 GPU小时。
• X-Large：80亿参数，2000亿词元，约20480 GPU小时。

算力呈8倍递增，构成系统的“缩放阶梯”。每个规模的候选数据池大小均为训练预算的30倍，以控制数据重复率。

评测体系经过两轮严格筛选，从65个候选基准中选出 52个基准（33个核心基准+13个快速验证集+6个其他），覆盖通用理解、知识问答、OCR与图表、视觉感知、多语言、纯文本理解六大维度，确保评估全面性。

三、发现一：“洗菜”（数据筛选）的效果被高估

研究团队首先检验了AI圈近乎常识的做法：通过质量筛选提升数据质量。这好比做菜前剔除坏叶。

团队测试了60多种筛选配置，包括：
* CLIP分数筛选：基于图文匹配打分。
* 文字质量分类器：如DCLM FastText、Nemotron、Mixtral评分器。
* 多模态综合评估：如UniFilter模型、困惑度方法及条件互信息。

筛选方式分为 局部筛选（保持整体比例）和 全局筛选（改变数据构成）。

结果令人意外：
在Medium规模实验中，几乎所有局部筛选方法未能显著超越“不筛选”基线，多数甚至导致性能下降（最高降幅3.3%）。表现最好的SigLIP-2全局筛选仅提升0.8个百分点，远低于预期。Small规模实验中，部分方法导致性能下降11个百分点。

原因解析：
DCVLM数据池中的160个数据集大多已经过“上游筛选”（如CLIP过滤或人工构建）。在原料已初步加工的情况下，额外筛选的边际收益极低。对照实验显示：当原始未筛选数据占比25%时，额外筛选可提升2.4%；当完全使用已筛选数据时，收益仅0.6%。这证明：筛选仅对“原料不干净”有效，对现代高质量数据集效果递减。

四、发现二：“食材比例”（数据混合）才是关键

既然筛选作用有限，团队转向数据混合比例。类比烹饪：杂粮饭的口感取决于米、小米、玉米的比例，而非清洗次数。

团队在固定多模态文档（5%）和纯文字（15%）的前提下，调整图文配对与指令微调数据比例，设定三种配方：
1. 图文为主：65%图文配对 + 15%指令微调
2. 均衡混合：40%图文配对 + 40%指令微调
3. 指令为主：10%图文配对 + 70%指令微调

通过3种模型规模 × 3个训练量（9格矩阵）进行系统测试。

结果呈现戏剧性交叉：
* Small规模：“指令为主”表现最差。
* Medium规模：“指令为主”超越其他配方。
* Large规模：“指令为主”稳居第一。

关键启示：
1. 规模依赖性：仅在小规模实验得出的配方，在大规模下可能失效。必须沿“缩放阶梯”验证。
2. 重复数据的容忍度：70%指令数据占比会导致重复。实验显示，重复2倍时性能从51.7%降至50.2%，重复4倍降至49.8%，重复8倍降至48.6%。关键发现是：重复2倍的“指令为主”配方（50.2%）与使用全新数据的“图文为主”配方（50.3%）性能持平。好的配方收益足以抵消适度重复的损失。

五、压力测试：结论的鲁棒性验证

在推广结论前，团队进行了两组控制实验：

1. 微调后的稳定性：将27个预训练模型用LLaVA-665K和Mammoth-VL-12M进行监督微调（SFT）。结果显示，预训练性能与微调后性能皮尔逊相关系数达 0.99，排名顺序完全不变。证明预训练数据配方结论在微调后依然成立。
2. 语言模型依赖性：将Qwen2.5-Base替换为Qwen2.5-Instruct重做实验。皮尔逊相关系数为 0.97，配方排名几乎相同。证明结论对语言模型初始化版本不敏感。

六、最终成果：DCVLM-Baseline 诞生

基于上述发现，团队将最优配方（10%图文、5%文档、15%纯文字、70%指令）应用于四个规模，创建 DCVLM-Baseline，并与当前最优公开数据集（LLaVA-OneVision-1.5、Nemotron-VL-2、FineVision）及InternVL系列私有数据模型对比。

核心优势：
* 全面超越：在33个核心基准平均分上，DCVLM-Baseline在各规模均超越FineVision，且提升幅度随规模递增（Small +0.3%, Medium +1.1%, Large +4.7%, X-Large +5.4%）。
* 效率奇迹：40亿参数模型（Large规模）在核心基准得分 58.9%，超越了 80亿参数模型（FineVision训练）的 58.2%。这意味着用少4倍算力（模型小一半、训练量减半）达到同等甚至更好性能。
* 能力分布：DCVLM-Baseline在通用理解、视觉感知、多语言方面优势明显；FineVision在OCR与图表、推理上略胜，归因于其包含更多高分辨率文档数据。

局限性与工程贡献：
* 安全性：DCVLM-Baseline在安全基准上落后FineVision近20个百分点，团队承认此为局限性，需后续改进。
* 无效干预记录：
* 采样温度：默认等比例采样已近最优，调整至“大数据集主导”或“均匀采样”均降低性能。
* 合成重标注：在已有高质量指令数据前提下，对DataComp-1B图片进行AI重标注收益极低。
* 工程优化：实现了预计算筛选分数+在线动态过滤，即使拒绝90%样本，吞吐量仅下降<3.5%；运行3个筛选器额外开销仅10%，解决了DataComp/DCLM需离线预处理痛点。

总结与展望

这项研究给出了一个既出人意料又合乎情理的答案：当原料已足够优质时，问题不在于“怎么洗菜”（筛选），而在于“怎么搭配”（混合）。

160个数据集、超1000次实验、跨越四个规模，最终指向同一结论：在现代VLM训练中，数据配方（尤其是指令数据比例）是最有力的旋钮，而质量筛选在原料已预处理的情况下收效递减。

对普通人的意义：
每次AI回答图片中的公式、合同或食材，背后都有此类研究在推动AI变得更聪明、可靠。研究团队开源了所有数据池、评测工具及模型检查点，推动领域向透明、可重复方向发展。

常见误区澄清：
* 误区：指令数据重要，那就全用指令数据？
* 真相：极端化无效。图文配对和多模态文档仍是不可或缺的基础，只是最优比例比过去更低。

未来方向：
如何进一步优化配方、将海量原始多模态文档转化为高质量指令数据、在万亿词元量级验证结论，是后续探索重点。

Q&A

Q1：DCVLM数据池里的数据筛选实验为什么发现筛选几乎没用？
A：因为DCVLM数据池中的160个数据集大多已经过原始来源的“上游筛选”（如CLIP过滤或人工审核）。在原料本身相对干净的情况下，额外筛选的提升空间极小（最佳方案仅提升0.8%），多数方法反而导致性能下降。只有当数据池中包含大量原始未筛选数据时，额外筛选才能带来显著收益。

Q2：DCVLM-Baseline用的“指令为主”配方里70%指令数据会不会导致数据重复太多？
A：会有一定重复，但影响可控。实验表明，重复2倍时核心基准均分从51.7%降至50.2%，重复4倍降至49.8%。关键发现是：重复2倍的“指令为主”配方（50.2%）与使用全新数据的“图文为主”配方（50.3%）性能几乎持平。好的配方收益足以抵消适度重复损失，直到重复约8倍时性能才明显下滑。

Q3：为什么DCVLM-Baseline的OCR和推理能力比FineVision弱？
A：这与FineVision数据集中包含更多高分辨率扫描文档和PDF数据有关，这类数据对识别密集排版文字、理解数学公式和表格结构有直接帮助。DCVLM-Baseline在这两个维度分别落后约5个百分点，是团队明确指出的局限性，也是后续改进方向。

相关文章