中国科学院自动化研究所揭示:当AI"看图说话"时，真的在"看"吗？

发布时间：2026-07-17 06:18:40 来源：安智兰德资讯网 作者：娱乐

这项由中国科学院自动化研究所认知与决策智能复杂系统重点实验室、中国中国科学院大学人工智能学院联合完成的科学看图研究，于2026年6月发表，院自研究论文编号为 arXiv:2606.22565。动化感兴趣的所揭示当说话读者可通过该编号在arXiv平台查阅完整论文。

一道让AI集体失灵的中国“送分题”

面对一张图片，人类只需扫一眼即可数清其中的科学看图玩具车数量。然而，院自研究若给顶尖AI模型附加“先思考再回答”的动化指令，它反而可能给出错误答案。所揭示当说话这一反常现象构成了本研究的中国核心起点。

在AI领域，科学看图“链式推理”（Chain-of-Thought,院自研究 CoT）技术备受推崇。其核心逻辑是动化要求AI在输出最终结论前，先展示中间推导步骤。所揭示当说话该技术已在纯文本任务（如数学解题）中显著提升了准确率。研究者自然产生了一个假设：将CoT应用于多模态任务（需同时理解图文），是否能同样提升真实世界应用（如解读科学图表、几何题、日常场景理解）的效果？

本研究通过系统性实验回答了这一疑问。研究团队对14个通用AI模型和8个强化推理模型进行了大规模测试，涵盖12种不同任务类型。核心发现直指痛点：当前的多模态推理AI在处理图像时，究竟是在真正“观察”，还是在自欺欺人地“生成文本”？

一、链式推理并非万能钥匙，而是“挑剔”的工具

“多模态”指模型能同时处理文字和图片两种信息模态。研究将测试任务划分为两类：

1. 感知类任务：侧重“眼力”，如定位物体、计数、识别文字。
2. 推理类任务：侧重“脑力”，需结合图像信息进行多步逻辑推导，如几何计算、图表分析。

实验结果显示明显的效能分化：

• 推理类任务受益明显：引入链式推理后，数学推理准确率提升 6.1%，科学推理提升 2.9%，多图综合推理提升 4.9%。强制AI展示推导过程，相当于为其提供了正确的解题路径，类似于要求学生必须写出解题步骤。
• 感知类任务表现下滑：链式推理导致视觉定位准确率下降 4.6%，知识问答下降 3.3%，物体计数下降 4.8%。
• 原因分析：感知任务的答案直接存在于图像中，AI本可“一眼即得”。强迫其进行复杂推理，反而使其注意力从图像转移至文本生成，导致“自乱阵脚”。这如同让人先详细描述手机细节再辨认，反而增加认知负荷。
• 模型规模的依赖性：链式推理对逻辑/算法推理的效果高度依赖模型规模。大模型因思路清晰，能从展示过程中获益；小模型则因基础薄弱，展示过程反而暴露漏洞，导致表现下降。

二、“开挂”的推理模型，真的无敌吗？

针对专门经过强化学习训练的推理模型（如基于RLVR技术训练的模型），研究团队测试了五个开源多模态推理模型及其基础版本。结果令人失望：这些模型在各类任务上的平均提升有限，部分任务甚至劣于基础版本。

核心归因：训练数据的单一性
开源推理模型在训练时高度依赖数学题素材，导致其推理能力“偏科”，局限于数学领域，而忽视了空间关系、图像模式识别等视觉任务。这如同学生只刷数学题，导致综合成绩平平。

对比案例：商业模型的多样性优势
谷歌的 Gemini-2.0-Flash-Thinking展现了截然不同的效果，在算法推理任务上进步高达 24.7%。这表明，训练素材的多样化（不仅限于数学）是提升多模态推理能力的关键。

三、“眼睛”与“嘴巴”的背离：Look Light, Think Heavy

研究最深刻的洞察在于揭示了AI“视觉推理”与“文字推理”能力的割裂。

1. 视觉探针 vs. 文字探针

研究团队设计了“探针”实验，将几何题拆解为：
* 视觉探针：识别图中几何关系（必须看图）。
* 文字探针：基于已知关系进行代数计算（无需看图）。

结果：AI在视觉探针上的得分比文字探针低 20个百分点。这证明“从图中提取关键信息”比“基于提取信息进行计算”难得多。且视觉探针的得分与最终解题成功率相关性最高，说明视觉理解是推理的前提。

2. “Look Light, Think Heavy”现象

研究者将AI的推理过程分为十段，分析其“视觉反思”（重看图片）和“语言反思”（修正逻辑）的频率：
* 语言反思：呈先升后降趋势，在推理中途达到顶峰，体现对逻辑的自我检查。
* 视觉反思：从推理开始即持续下降，后期几乎消失。

机制解析：通过分析注意力权重发现，随着生成文本变长，AI对已生成文本的关注度急剧上升，而对原始图片的关注度急剧下降。AI陷入了“推理文字反客为主”的陷阱，逐渐遗忘图像信息。

类比：如同临摹画作时，画家不再看参考图，而是过度关注自己画布上的线条，导致最终作品与原图偏差巨大。

四、关键信息遮蔽实验：AI的“视觉内省”是否真实？

研究团队故意用马赛克遮挡图片关键信息，观察AI反应。
* 现象：AI确实产生了更多的视觉和语言反思，表明其感知到了“异常”。
* 结论：尽管察觉异常，AI仍坚持给出答案，而非拒绝作答。
* 本质：当前的视觉反思是浅层的。AI能察觉错误，但缺乏将这种察觉转化为“放弃作答”或“修正策略”的能力。它像一个看不清路牌却坚持按猜测方向开车的司机。

五、破局之道：让AI真正“回头看图”

研究提出了两条潜在解决路径：

1. 主动视觉回溯：
2. 案例：OpenAI的 o3模型在遇到遮挡时，能主动放大遮挡区域审视，并判断“信息不足，拒绝作答”。这种“看不清就说看不清”的能力是稀缺的。
3. 配备视觉工具箱：
4. 案例：面对复杂棋盘问题，AI先调用图像识别工具获取精确坐标，再调用代码求解。
5. 挑战：即使是GPT-4.1等强大模型，也倾向于使用计算器等文本工具，而非图像理解工具。培养AI的“视觉工具使用意识”仍需专门训练。

六、研究局限与总结

局限性：
* 受算力限制，每种任务仅选取1-3个数据集，每集约200样本，共测试22个模型。
* 仅聚焦静态图片，未涉及视频理解等更复杂场景。

核心结论：
1. 链式推理非万能：对数学/科学推理有效，但对感知类任务（计数、定位）有害。
2. 根本缺陷：当前多模态AI存在“偷懒”倾向——Look Light, Think Heavy（轻视觉，重语言）。随着推理深入，AI注意力从图像转移至文本，导致“嘴上头头是道，眼睛早已不看图”。
3. 未来方向：真正的多模态理解要求AI在推理全程保持对图像的深度关注，并具备在信息不足时诚实表达不确定性的能力。这比单纯生成推理文字更具挑战性。

Q&A

Q1：链式推理（CoT）为什么在数数物体、视觉定位这类任务上反而让AI变差？
A：因为感知任务的答案直接隐含在图像中，AI直接观察即可作答。强制其进行链式推理，会分散其对图像的注意力，使其沉浸于文本生成中，导致“越想越乱”，最终出错。这类似于让人先详细描述手机特征再辨认，反而增加认知干扰。

Q2：开源多模态推理模型为什么在广泛任务上的提升幅度有限？
A：主要源于训练数据的单一性。开源模型多基于数学题训练，导致推理能力高度集中于数学领域，难以迁移至视觉定位、空间关系理解等任务。相比之下，训练数据更多样化的商业模型（如Gemini-2.0-Flash-Thinking）在多类任务上表现更佳。

Q3：“Look Light, Think Heavy”现象在多模态推理模型中具体是怎么体现的？
A：通过分析推理过程发现：AI对逻辑的自我检查（语言反思）在推理中途达到顶峰，而对图像的重新审视（视觉反思）则从开始即持续下降，后期几乎消失。注意力机制数据显示，随着生成文本增加，AI对文本本身的关注度上升，对原始图片的关注度下降，形成“文本反客为主”的局面。

相关文章