阿里通义实验室的新突破：让AI"看图点击"更准更快，省了一半功夫

发布时间：2026-07-18 03:48:29 来源：安智兰德资讯网 作者：热点

阿里巴巴通义实验室（Tongyi Lab）联合悉尼科技大学、阿里阿德莱德大学完成了一项突破性研究，通义并于2026年6月29日在arXiv发布预印本（编号：arXiv:2606.30084v1）。实验室的省半该研究提出名为 InnerZoom的新突新框架，旨在解决AI自动操控电脑界面时长期存在的破让“眼到手不到”痛点——即AI能识别目标区域，却无法精准点击。看图

想象一位助理帮你操作电脑，点击你指令“点击Python解释器配置按钮”，更准更快功助理虽已锁定目标，阿里但手指偏移一厘米，通义误触空白处。实验室的省半这种“看得到却点不准”的新突困境，正是破让当前AI电脑助手的核心瓶颈。研究团队深入剖析此问题，看图提出了一套兼顾高精度与高效率的点击解决方案。

一、AI操控困境：为何“看得到”却“点不准”？

要理解这一难题，需先厘清现代AI的“视觉”机制。该研究聚焦于 GUI Grounding（图形界面定位）任务：向AI输入屏幕截图与自然语言指令，要求AI输出精确点击坐标。

主流方案依赖大型多模态语言模型（MLLM），通过逐步生成文本（如“坐标是[310, 410]”）来输出结果。这种自回归生成方式在语言理解上表现优异，但在精确定位上存在根本矛盾：模型需在“大范围区域识别”与“像素级坐标定位”之间跨越巨大难度鸿沟。

研究团队通过诊断实验揭示了真相。在Qwen3-VL-4B模型（40亿参数）中，他们监测了中间层的 ROI Recall（感兴趣区域召回率）。结果显示，在第19至23层，模型内部注意力热点有69%的概率正确覆盖目标区域；然而，随着信息传递至最后一层，这一比例骤降至14%。

比喻而言：这如同侦探已锁定嫌疑人在“第三条街七号”，内心判断准确，但最终报告却误写为“第三条街十四号”。证据链在最后一环断裂。

进一步的“干预实验证实了因果关系：人为放大中间层的目标视觉信号，使四个基准测试的点击准确率提升最高达2.2个百分点；而放大无关信号则导致准确率下降1.1个百分点。研究团队将此现象命名为 “区域到点的鸿沟”（Region-to-Point Gap）。

二、现有方案局限：“放大镜”策略的高昂代价

业界主流应对策略为 ZoomIn方法。其逻辑直观：先让AI粗略定位目标区域，裁剪该区域放大后再次输入AI进行精确定位。

这如同考试时先圈定范围，再用放大镜核对细节。虽然有效，但需执行两次模型推理，导致延迟翻倍、计算成本激增，难以满足实时操作需求。

研究团队洞察到，既然第一遍推理中模型已具备准确的目标区域感知，问题根源并非信息缺失，而是信息未能有效传递至坐标生成环节。因此，InnerZoom的核心思路应运而生：能否在单次推理内部，将“区域级证据”顺畅转化为“精确坐标”，从而避免重复计算？

三、InnerZoom机制：内置“证据草稿本”

InnerZoom 采用“一次推理，内部精炼”的策略，类比于在答题过程中利用草稿纸记录关键线索，而非交卷后重写。其工作流程分为三步：

1. 目标区域证据提取

在模型第19层（经实验确定的最佳提取层），InnerZoom 分析文本对视觉区域的注意力分布。当AI处理“Python解释器配置”指令时，系统标记出高关注度区域，生成热力图，并通过连通分量分析算法圈定粗略目标候选框。
* 关键细节：提取的是视觉编码器压缩前的原始细粒度特征，如同保留素描的铅笔底稿，确保细节不丢失。

2. 跨层证据精炼

这是InnerZoom的核心创新，引入 迭代双槽证据适配器（Iterative Dual-Slot Evidence Adapter）。该模块在模型第20、23、26、29层激活，维护两个独立的“证据槽”：
* 槽1：专注记录目标本身的精细外观。
* 槽2：记录周围上下文布局。
通过门控机制，系统选择性更新证据，避免推倒重来。这使得关键视觉证据在跨层传递中得以持续精炼和保存，防止信息消散。

3. 证据引导的坐标解码

在最终坐标生成阶段，两个精炼后的证据槽被注入Transformer架构的键值对计算中。这意味着模型在“回忆”目标时，调用的是经过多层精炼的高清版本，而非被稀释的残影。
* 优势：全程仅一次模型推理，无外部裁剪，额外计算成本极低。

四、训练策略：监督微调与强化学习结合

模型训练分为两个阶段，遵循“先基础后实战”的逻辑：

1. 监督微调（SFT）：
2. 模型学习根据截图和指令生成推理过程及坐标。
3. 引入 槽分离正则化损失函数，防止两个证据槽功能冗余，确保其关注不同维度。

4. 训练分三阶段递进：适配器热身 -> 适配器和解码器层联合训练 -> 坐标生成能力精调。

5. 强化学习（RL）：

6. 采用 GRPO方法。模型生成8个答案，以预测坐标是否落入正确目标框作为奖励信号。
7. 无需人工标注推理过程，仅需验证最终结果，适合大规模训练。
8. 数据源自OS-Atlas、OmniAct、AndroidControl、AMEX和AgentNet等公开数据集，整合出28.3万条SFT样本和10万条RL样本。

五、实验结果：六项基准全面领先

研究团队在涵盖桌面、移动端和网页端的六个GUI定位基准上评估InnerZoom，核心指标为 动作准确率（预测坐标是否落在目标边界框内）。

1. 精度领先

• OSWorld-G：InnerZoom-4B得分 64.7，领先第二名4.1分。
• UI-Vision：得分 40.2，领先3.2分。
• OSWorld-G-Refine：得分 73.1，领先2.9分。
• MMBench-GUI：得分 87.6，领先2.3分。

关键洞察：InnerZoom-4B（40亿参数）击败了众多70亿、320亿甚至720亿参数的竞争模型，证明架构设计优于单纯堆砌参数。

2. 效率优势

在与同等条件下（4B骨干、相同数据）的两遍ZoomIn方法对比中：
* 精度：InnerZoom在UI-Vision、OSWorld-G-Refine、OSWorld-G上均显著领先，仅在ScreenSpot-Pro（超宽双屏）略低1.1分（因超宽屏显式裁剪有分辨率优势）。
* 速度：InnerZoom延迟仅为基础方案的1.18-1.27倍，而两遍ZoomIn为1.56-1.94倍。
* 节省：InnerZoom比两遍ZoomIn 快23.8%-35.7%，平均节省28.3%延迟，计算量削减26%-32%。

3. 细粒度提升

在UI-Vision的空间定位子类中，4B版本从18.4分跃升至 25.4分，2B版本亦创同类最高纪录。这验证了跨层证据桥接对保留精细局部空间信息的有效性。

六、消融实验：设计选择的科学性

研究团队通过“拆零件”测试验证各组件有效性：

• 精炼层数：使用全部四层（20, 23, 26, 29层）达到最佳64.2分。若增加更多层，准确率仅微增0.1分，但参数量激增4倍，性价比极低。
• 证据槽数量：双槽设计（64.2分）优于单槽（62.5分）和三槽（62.8分）。单槽容量不足，三槽易冗余，双槽在信息多样性与容量间取得最佳平衡。

结论：InnerZoom并非越复杂越好，而是找到了轻量与高效的平衡点。

七、局限性与未来方向

研究团队坦诚列出了当前未能解决的三类失败案例：

1. 语义理解缺失：如指令“打开iPart选项”，若AI缺乏特定软件知识，即便看到界面也无法操作。
2. 视觉模糊干扰：界面存在多个相似元素且指令不明确时，模型难以排除干扰。
3. 指令混淆：模型易将界面标题、提示文字误判为用户指令。

这些问题涉及深层语义理解和抗干扰能力，超出纯定位范畴。此外，对于超宽双屏或极高分辨率场景，显式裁剪仍有价值。未来研究或可探索InnerZoom与显式裁剪的自适应结合。

核心结论：InnerZoom解决了AI“记不住”所见信息的长期痛点。通过内部跨层传递“证据草稿本”，AI在保持高速响应的同时，大幅提升了点击精度。

Q&A

Q1：InnerZoom与ZoomIn方法的本质区别是什么？
A：ZoomIn需两次推理（粗定位+精定位），导致高延迟；InnerZoom在单次推理中通过适配器保存并精炼中间层证据，全程仅一次推理，速度更快且多数场景精度更高。

Q2：为何采用双槽证据设计而非单槽或三槽？
A：消融实验显示，单槽容量不足，难以兼顾目标细节与上下文；三槽易产生冗余，削弱证据多样性。双槽设计在两者间取得平衡，准确率分别比单槽和三槽高出1.7分和1.4分。

Q3：InnerZoom在哪类任务上提升最显著？
A：在 空间定位和 密集图标定位任务上提升最大。例如在UI-Vision空间定位子类中，4B版本得分从18.4跃升至25.4。这得益于其机制能保留精细局部视觉细节，有效区分外观相似的相邻元素。

相关文章