华中科技大学等机构联手打造"科学图像理解"新基准

发布时间：2026-07-17 12:01:24 来源：安智兰德资讯网 作者：知识

这项由华中科技大学计算机科学与技术学院、华中山东大学空间科学与工程学院以及清华大学电子工程系联合开展的科技研究，以预印本形式于2026年6月29日发布在arXiv平台，大学等机论文编号为arXiv:2606.30124。构联感兴趣的手打读者可以通过该编号检索完整论文。

科学示意图对普通人来说也许有些陌生，造科但它其实是学图像理科学家们交流最重要发现的核心工具。一张好的解新基准科学示意图，胜过千言万语——它能展示蛋白质的华中空间折叠方式、描述化学反应的科技逐步演变过程，或者直观呈现某个物理现象背后的大学等机因果链条。然而，构联当今最先进的手打人工智能图像生成系统，尽管已经能够画出令人叹为观止的造科风景画和人物肖像，却往往在面对这类科学示意图时频频"翻车"——画出来的学图像理东西"看起来像那么回事"，但仔细一看，里面充斥着违反物理规律、化学定律甚至基本逻辑的错误。

这支研究团队敏锐地察觉到这个问题，并深挖其根源：不是AI不够聪明，而是它根本没有经过正确的训练——既缺乏足够的高质量科学图像数据，也没有一套能真正检验"科学正确性"的评估工具。于是，他们构建了一套完整的解决方案，命名为SciIR，涵盖训练数据集SciIR-82k、评测基准SciIR-Bench，以及基于此训练出的模型Qwen-Image-SciIR。

一、为什么现有AI画不好科学示意图？

回到一个大家都能理解的场景：假设你请一位从未学过化学的朋友帮你画一幅"氢原子与氧原子结合成水分子"的示意图，他可能会画出三个圆圈用线连起来，看上去像个分子，但也许氢氧之间的连接方式是完全错误的，或者电子轨道的方向画反了。这就是现在的AI生成科学图像时经常面临的处境。

更进一步说，当前文本到图像（Text-to-Image，简称T2I）模型的训练数据，绝大多数来自互联网上的普通图片和描述，这些数据以"看起来好看"为优先目标，而不是"科学上正确"。一张山水画画错了没什么大问题，但一张用于学术交流的蛋白质结构图画错了，可能误导整个研究方向。

研究团队将这个问题拆解成三个互相关联的瓶颈。第一个是数据瓶颈：高质量的科学图像极为稀缺，因为标注这类图像需要深厚的专业知识，现有数据集普遍缺乏对"视觉逻辑"的明确标注，AI因此没有机会学习如何把文字描述准确映射到科学结构上。第二个是评估瓶颈：现有的评测框架根本无法衡量"科学正确性"，更关注图像的布局和美观，而非内在的科学逻辑，也没有足够细粒度的工具来诊断具体的错误类型。第三个是模型瓶颈：开源模型尤其缺乏专门的科学推理能力，在面对"反应的因果链条"或"分子拓扑结构"这类硬性约束时，往往生成出漏洞百出的幻觉内容。

这三个瓶颈环环相扣，共同构成了当前科学图像生成领域的核心障碍。

二、用"符号学三角"重新定义科学图像

研究团队没有简单地收集数据、训练模型了事，而是先从理论层面重新思考：科学图像究竟在表达什么？

他们借用了哲学家皮尔斯（Charles Sanders Peirce）在19世纪提出的"符号学三元组"理论。皮尔斯认为，人类使用的所有符号可以分为三类：图像符号（Icon，通过相似性表达），指引符号（Index，通过因果或关联性表达），以及象征符号（Symbol，通过约定俗成的规则表达）。

研究团队将这个哲学框架映射到科学图像的三个核心维度上。第一个维度叫做"实体结构"（Entity Structure），对应图像符号，关注的是科学实体的几何形状、空间排列和拓扑关系——比如蛋白质的折叠形态，或者晶体结构中各原子的排列方式。第二个维度叫做"科学过程"（Scientific Process），对应指引符号，关注的是因果关系和时序演变——比如化学反应的步骤，或者细胞信号传导的路径。第三个维度叫做"科学定律"（Scientific Law），对应象征符号，关注的是抽象规则的遵守——比如能量守恒定律、分子化合价规则等。

这个分类框架的意义在于，它不再把"科学正确性"当作一个模糊的整体概念，而是把它拆解成三个可操作、可验证的子维度，为后续的数据构建和评估提供了清晰的架构。

三、SciIR-82k：八万张科学图像从哪里来，怎么处理的？

有了理论框架，下一步就是构建数据集。研究团队面临的核心挑战是：如何获得足够多、质量足够高的科学图像，同时确保每一张图都有完整的逻辑标注？

他们的解决方案是从《自然》（Nature）和《自然·通讯》（Nature Communications）这两本顶级科学期刊中挖掘数据，仅选取采用CC BY 4.0开放授权协议的文章——也就是说，这些内容可以合法使用和共享。起始原材料约有36万张原始图像，来自大量开放获取的学术论文。

但这36万张图像中，许多都是多面板拼图（即一张大图里包含多个子图），研究团队用一个叫做YOLO11的目标检测模型自动识别并切割子图，得到了数以十万计的独立子图。随后，每张子图被统一调整为1024×1024像素的标准尺寸，并通过一种智能的边缘填充算法来保持原始视觉效果，避免出现难看的白边。

接下来是两阶段过滤流程。第一阶段用一个强大的多模态视觉语言模型InternVL 3.5对图像进行自动筛选，只保留真正意义上的"科学示意图"，剔除照片、截图、纯文字图、显微镜影像等无关内容。筛选标准非常严格：任何包含可辨认人脸或患者信息的图像都会被直接删除。第二阶段则是人工抽检，研究团队对"保留"分类的10%样本进行人工复核，如果错误率超过5%，就重新调整筛选提示词。经过这两轮过滤，最终得到超过8万张高质量科学示意图。

四、给每张图装上"推理大脑"：Sci-RCoT是什么？

拥有8万张图还不够，研究团队真正的野心在于：给每张图标注一套详尽的"科学推理链"（Scientific Reasoning Chain-of-Thought，简称Sci-RCoT）。

什么是推理链？可以用烹饪食谱来类比。普通的图像描述就像只告诉你"这道菜是红烧肉"，而推理链则像完整的食谱：为什么要先大火爆炒、为什么加生抽而不是老抽、为什么要小火慢炖40分钟——每一步背后的逻辑都清清楚楚。有了这样的食谱，厨师（也就是AI模型）才能真正理解如何"复现"这道菜，而不是凭感觉乱做。

研究团队采用"逆向工程"的思路来生成这套推理链。正常的图像生成流程是：给定文字描述，推导出图像；而他们反过来，从已有的高质量图像出发，反推出"为什么这张图是这个样子"的逻辑链条。

具体操作分三步。第一步，用Qwen3-VL模型对每张图进行深度解析，将图像中的信息分解为两类：一类是"术语"（Scientific Terms），即图像中能辨识出的科学实体名称和原理；另一类是"可视化描述"（Visualization），即每个术语对应的具体视觉呈现方式，比如形状、颜色、空间位置和相互关系。这一步的优先级是：图像中直接可见的信息优先于图注，图注优先于正文，严格防止模型"脑补"图中没有的内容。第二步，用Qwen3-VL将这些分散的信息单元整合成一段连贯的视觉叙述，这就是Sci-RCoT——它不是信息的简单堆砌，而是一套有内在逻辑的重建过程描述，将抽象的科学符号与具体的空间布局对应起来。第三步，用Qwen3-Max将详尽的Sci-RCoT压缩成一段精炼的"摘要提示词"（Abstract Prompt），采用"术语替换"策略：用标准科学术语替换掉详细的视觉描述，同时保留必要的文字渲染要求。

经过这套流程，最终产出的数据集中，每条样本都包含原始图像、精炼提示词、完整Sci-RCoT，以及按照符号学三维度分类的标注标签。从统计数据来看，Sci-RCoT的平均长度是对应提示词的约2倍，说明它确实包含了大量额外的推理内容。

五、SciIR-Bench：科学图像的"高考卷"是怎么设计的？

有了训练数据，还需要一套严格的评测工具来检验AI到底"学没学会"。研究团队构建的SciIR-Bench包含800道精心挑选的测试样本，其设计思路可以用"高考卷"来类比：题目覆盖面广、难度分级明确、每道题都有客观可验证的标准答案。

测试样本的筛选标准非常严苛。首先，所有候选样本必须包含超过3个科学术语，确保语义内容足够丰富。其次，每个样本必须在前述三个符号学维度中至少有两个维度涉及有效的推理路径，确保测试的是"多维度推理"能力而非单一技能。通过这两轮过滤，研究团队再把剩余样本按照科学域的多样性和推理难度进行均衡分配。

800个样本被分成四组，每组200个。第一组要求AI同时满足三个符号学维度的要求，这是最高难度的"全面推理"组。其余三组分别测试两两维度的组合：实体结构与科学定律的交叉、科学定律与科学过程的交叉、实体结构与科学过程的交叉。这种组合设计的目的是检验AI面对来自不同维度的"相互冲突的约束"时，是否能够整合处理。

在每组200个样本内部，研究团队还做了难度分层。100个样本配有完整的Sci-RCoT作为输入，用于测试"指令跟随能力"——这些样本的科学术语密度高于中位数，信息高度饱和，如果只给精炼提示词，AI肯定会遗漏大量关键细节，所以给它完整的推理链，看它能不能老老实实把每个细节都画出来。另外100个样本只配有精炼的摘要提示词，用于测试"内在推理能力"——这些样本的描述相对简短，AI必须靠自己内化的领域知识来"脑补"合理的空间布局和因果逻辑，就像只告诉你"画一幅DNA复制示意图"，却不告诉你每个步骤的细节，看你能自己画到什么程度。

六、评分机制：一票否决制，不搞平均分

评估方式同样非常讲究。传统的图像生成评分，无论是FID（弗雷歇初始距离，衡量生成图像整体分布与真实图像的差距）还是CLIPScore（用CLIP模型计算图像与文字的相似度），都是在"整体感觉上打分"——有点像给一篇作文打"印象分"，哪怕里面有几个明显的事实错误，只要文章写得流畅，分数也不会太低。

SciIR-Bench采用的是截然不同的思路：原子化清单加一票否决制。

具体做法是：用Gemini-3-Pro根据每个样本的推理内容生成一套二值化验证问题清单，每个问题只针对一个单一的视觉属性，比如"氢气泡是否从阴极（而非阳极）冒出？"或者"CREB转录因子是否显示为橙色椭圆？"每道问题只有"是"或"否"两个答案。为了防止AI评判模型出现幻觉，还加入了"视觉证据检索"环节：评判模型必须先在图像中明确定位到被问到的元素，然后才能给出答案。

最终的评分采用严格的一票否决机制：对于某个特定维度（比如"科学过程"），一张生成图像必须通过该维度下所有问题才算"有效"；只要有一个问题回答为"否"，这张图在该维度的得分就是零。最终的分数是所有样本中"有效样本"所占的百分比。

为什么要用这么严苛的评分方式？因为科学图像不允许"差不多对就行"。一张电解装置示意图，如果氢气和氧气的产生位置画反了，哪怕其他所有细节都画对了，这张图也是错误的，会误导读者。科学图像的逻辑是："全对才算对"，而不是"答对了80%就算过关"。

七、大规模测评：谁在科学图像这条赛道上跑得最快？

研究团队对12个主流文本到图像模型进行了全面评测，结果揭示了当前领域的真实面貌。

闭源商业模型中，Nano-Banana-Pro的表现近乎碾压——综合得分高达95%，在科学定律、实体结构和科学过程三个维度上均接近满分。这个成绩证明了这类任务在技术上是可解的，但也暴露了一个残酷事实：闭源顶尖模型与开源模型之间存在高达60%的巨大鸿沟。GPT-Image-1以62%排名第二，Seedream 4.5以55%位列第三，FLUX.1-Kontext-Max仅有22%，远低于预期。

开源扩散模型中，Qwen-Image-2512以35%领跑，Flux-Dev只有9%，HiDream-L1-Full为13%，SD 3.5 Large仅有5%。开源自回归模型的表现更惨：Show-o2-7B得了21%，BAGEL-7B-MoT只有2%，Janus-Pro-7B仅有1%。

有几个有趣的细节值得特别关注。对于大多数模型（比如GPT-Image-1、Seedream 4.5）而言，在"指令跟随"测试中的表现明显优于"内在推理"测试，比如GPT-Image-1在指令跟随下得82%，在内在推理下只有51%。这说明这些模型擅长按图索骥，但如果只给它们一个笼统的科学名词，它们并不能从内心深处"懂得"应该如何安排合理的布局和逻辑。然而，有些开源模型（比如Flux-Dev和Show-o2-7B）却呈现出反直觉的相反趋势：在"内在推理"测试中反而比"指令跟随"表现更好。这并不是因为它们的推理能力更强，而是因为Sci-RCoT的细节过于丰富，超出了这些模型的处理能力，导致信息"溢出"、属性混乱，短提示词反而让它们少犯错。

在文字渲染能力上，所有模型的得分都惨不忍睹：最好的开源扩散模型只有15%，自回归模型最高只有8%。这说明无论是扩散模型还是自回归模型，在精准渲染科学符号和公式方面，都存在根本性的局限。

为了验证这套评估方法的可靠性，研究团队请三位自然科学领域的研究生对200张随机样本进行人工评分，然后对比各种自动化指标与人工评分的相关性。结果显示，原子清单方法与人类专家的皮尔逊相关系数（衡量线性关系强度的指标）高达0.692，肯德尔τ系数为0.596，斯皮尔曼ρ系数为0.683，均远高于CLIPScore（0.345）、VQAScore（0.457）和VIEScore（0.412）。换句话说，基于嵌入的传统指标只能捕捉到"表面的语义相似"，而忽略了细微但致命的科学错误，比如拓扑结构不可能性或因果关系颠倒。

八、从35%到43%：微调之后的进步意味着什么？

研究团队还基于SciIR-82k训练了一个开源基准模型Qwen-Image-SciIR，将Qwen-Image-2512从35%提升到了43%，在科学过程维度提升了16个百分点，在实体结构维度提升了9个百分点。

这个模型的架构设计颇为精妙，体现了一种"分工协作"的思路。整个系统由两个模块串联组成。第一个模块叫做"推理规划器"，是一个经过微调的Qwen2.5-7B-Instruct语言模型——它的职责是接收用户输入的提示词，然后生成一段完整的Sci-RCoT，相当于一个"科学顾问"，先把要画什么、为什么这么画想清楚。第二个模块叫做"视觉生成器"，是经过微调的Qwen-Image-2512扩散模型——它接收推理规划器产出的Sci-RCoT，生成最终图像。

推理规划器使用LoRA（低秩自适应微调）技术，在所有线性变换层上注入可训练参数，秩为64，缩放系数为16，学习率为1×10??，最大上下文窗口为2048个词元。视觉生成器同样使用LoRA，秩为32，学习率为1×10??，训练分辨率为1024×1024。两个模块均只经过一轮训练。

从定性比较图可以看出，基础版Qwen-Image-2512存在三类典型的科学幻觉错误：一是无法正确描绘科学过程的形态演变，比如神经元发育的形态变化只能用文字标注来敷衍，而非真正用图形来呈现；二是形态和结构的遗漏或错误，比如生成出违反化合价规则的分子拓扑结构，或者在细胞截面图中遗漏细胞核；三是违反领域先验知识，比如错误地将电荷状态标注到错误的粒子（电子、空穴和离子）上。经过SciIR-82k微调后，Qwen-Image-SciIR在这三类问题上都有明显改善。

研究团队还进行了消融实验，分别去掉Sci-RCoT、推理规划器和分类体系，验证每个组件的贡献。结果显示，去掉任何一个组件都会导致最终分数下降，完整模型的43%是最优结果。

九、数据标注质量：人工抽检的结果说明了什么？

为了证明自动化标注流程的可靠性，研究团队对SciIR-82k中的450个随机样本进行了人工验证，由三位具有自然科学背景的研究生独立评分，分别在"视觉忠实度"和"科学一致性"两个维度上打分。

验证结果显示，推理提取环节的通过率为91.3%，只有1.3%的样本存在"重大错误"；Sci-RCoT生成环节的通过率为86.0%，重大错误率为4.6%；摘要提示词生成环节的通过率为89.3%，重大错误率为2.0%。这组数据说明整套自动化流程在总体上是可信赖的，虽然并不完美，但主要问题集中在轻微偏差而非根本性错误上。

研究团队还对评测体系本身进行了稳健性分析，分别测试了不同评判模型（Gemini、GPT-5.5、Claude-4.6、Qwen3.5）和不同评分标准（严格一票否决、80%阈值、平均通过率）以及不同清单表述方式（原始版、重新排序版、违规聚焦版、精简版）下各模型的排名变化。结果表明，尽管绝对分数有所变化，但各模型之间的相对排名基本保持稳定，说明评测结果具有较高的可重复性。

说到底，这项工作的核心贡献并不在于提出了某个精妙的算法，而在于它为一个长期被忽视的问题建立了完整的基础设施。现有AI画科学图像的问题，不只是"画得不好看"，而是"画得不对"——它可以把一张电解槽示意图画得栩栩如生，却把氢气和氧气的冒泡位置搞反；它可以画出令人叹服的蛋白质形态，却在分子连接处偷偷添加出化学上根本不可能存在的键。这种"外表精美、内核错误"的生成结果，在科学交流中是无法容忍的。

研究团队自己也承认，SciIR-82k在数据来源上存在偏向——绝大多数图像来自顶级期刊的标准化示意图，非常规或非典型的科学图示覆盖不足；而SciIR-Bench也更注重科学正确性，对视觉美观度关注较少。这些局限意味着后续还有大量工作可以延伸，比如引入更多元化的科学图像风格，加入跨语言标注，以及探索符号约束、弱监督和对抗性检验等混合训练策略。

对普通人来说，这项研究意味着：未来当你用AI生成一张科普文章的配图，或者让AI帮你解释一个复杂的生物机制，那张图不仅会画得好看，还可能真的是"对的"。从看起来像科学，到真正是科学——这个差距，比很多人想象的要大，也比很多人期待的要近。

Q&A

Q1：SciIR-82k数据集和普通的图像数据集有什么本质区别？

A：SciIR-82k最大的不同在于它为每张图像配备了"科学推理链"（Sci-RCoT），不只是描述图像长什么样，而是解释每个元素"为什么这样呈现"背后的科学逻辑。普通图像数据集只是图片加说明文字，SciIR-82k则像一套完整的食谱，把每一步的逻辑原因都写清楚，让AI能真正学会科学图像背后的推理过程，而不只是模仿外观。

Q2：SciIR-Bench的评分为什么要用"一票否决制"而不是平均分？

A：因为科学图像容不下"差不多对"。一张电解装置示意图如果把氢气和氧气的产生位置画反了，哪怕其他所有细节都画对了，这张图在科学上就是错误的，会误导读者。平均分制度会掩盖这类致命错误，让"画对了80%细节"的错误图像也能得高分。一票否决制则要求每一个科学属性都必须正确，更符合科学交流的真实需求。

Q3：Qwen-Image-SciIR模型和原始的Qwen-Image-2512相比，具体改进了什么？

A：Qwen-Image-SciIR在原有基础上增加了一个"推理规划器"模块，在画图之前先生成一段完整的科学推理链，相当于给画图模型配了一个"科学顾问"。经过SciIR-82k微调后，综合评分从35%提升到43%，科学过程维度提升最为显著，达到16个百分点。最直观的改变是，模型能够正确描绘形态演变过程、避免化合价错误，以及准确区分不同粒子的电荷状态，不再出现"看起来像科学却违背基本定律"的幻觉内容。

相关文章