明略科技(2718.HK)自研大规模 Web Agent 综合评测基准 WebRetriever，成果获 ECCV 2026 接收

发布时间：2026-07-17 10:16:12 来源：安智兰德资讯网 作者：娱乐

随着 AI 智能体从简单的明略模对话交互迈向复杂的浏览器操作场景，其能否在瞬息万变、科技充满弹窗干扰及频繁改版的自研t综准真实互联网环境中像人类一样独立完成任务，已成为制约 AI 走向实战应用的大规核心瓶颈。

近日，合评明略科技针对网络智能体（Web Agent）评测推出的测基r成大规模综合基准 WebRetriever相关论文，已被计算机视觉领域国际顶级会议 ECCV 2026正式接收。果获该基准覆盖 800 个真实在线网站与 1,接收550 项任务，首次在大规模真实网络环境下量化了智能体“到达正确页面”与“任务真正完成”之间的明略模能力差距，为这一快速发展的科技领域建立了更贴近真实应用的评测标准。

• Github 代码：https://github.com/Mininglamp-AI/WebRetriever
• WebRetriever 榜单主页：https://mininglamp-ai.github.io/WebRetriever/
• Huggingface 数据集：https://huggingface.co/datasets/Mininglamp-2718/WebRetriever
• Mano-P 主页：https://github.com/Mininglamp-AI/Mano-P

三大系统性方案，自研t综准攻克 Web Agent 评测核心痛点

当 AI 从对话交互走向浏览器操作，大规如何客观衡量其任务完成能力已成为业界关键的合评研究命题。当前主流评测方法普遍存在三大局限：数据规模有限且领域覆盖单一；自动评判过度依赖视觉截图，测基r成难以捕捉细粒度交互语义；以及将“导航成功”简单等同于“任务完成”，果获忽视了对最终交付结果的检验。

针对这三大行业痛点，WebRetriever 提供了系统性的解决方案：

WebRetriever 从数据集规模和多样性、自动化评估的可靠性，以及面向部署的评估协议三个方面，解决了先前工作的关键局限性。图片来源：明略科技

1. 扩容真实网络场景，打破单一评测局限

WebRetriever 构建了覆盖 800 个真实在线网站、1,550 项任务的评测集，横跨电商、金融、医疗、政务、教育等多个行业，既涵盖普通用户的日常操作，也包含专业场景下的复杂需求。

相较于此前同类真实在线（非镜像托管）基准普遍不超过 300 个网站、且多偏重单一意图类型的现状，WebRetriever 在覆盖广度与意图多样性上实现了显著提升。所有评测均在真实互联网环境中执行，网站的动态更新、改版与偶发弹窗等真实变量均被完整纳入，确保评测结果最大程度贴近实际应用场景。

2. 融合多维交互信号，突破仅看截图的评判盲区

现有自动评测方法多以页面截图作为唯一判据，依赖视觉信息，难以还原 Agent 在搜索输入、条件筛选、请求参数等环节的实际操作。

为此，明略科技团队提出了新颖的 LLM-as-Judge 框架——NavEval（导航评估）。NavEval 在视觉信息之外，通过浏览器自动化工具完整捕获网络请求序列与操作轨迹，经规则化过滤提取出细粒度的交互信号，再与任务描述、最终截图共同交由大模型进行综合研判。

在大规模实验中，NavEval 与人类专家判断的一致率达到了 91.2%，显著高于此前同类方法的最佳水平（约 81%）；并在跨数据集验证中保持了 97%的极高一致率，使大规模场景下的自动化评测首次达到可信赖的精度水平。

NavEval 工作流示意，图片来源：明略科技

3. 三个评测协议，厘清导航与完成的本质差距

WebRetriever 设计了三个评测协议，系统拆解 Web Agent 的能力构成：
1. 基础导航能力：考察 Agent 能否准确到达目标页面；
2. 文档辅助导航：测试在提供目标网站操作文档辅助下的导航表现，观察其导航成功率的提升幅度；
3. 端到端任务完成：要求 Agent 从导航到信息提取，独立完成完整任务。

网站操作文档的半自动构建流程，图片来源：明略科技

实验结果显示，当前主流 Web Agent 在纯导航任务上的成功率最高约为 45%；但一旦进入端到端的完整任务，即使表现最好的模型，完成率也仅约 20%，多数甚至不足 15%。“到达正确页面”与“任务真正完成”之间存在着巨大的鸿沟，这一量化发现也为行业下一阶段的研究指明了重点聚焦的方向。

WebRetriever 全球挑战赛即将开启

作为一套面向真实互联网的开放评测基准，WebRetriever 的价值不仅在于理论研究，更在于推动大模型 Web Agent 技术的应用边界。

明略科技将于近期正式启动 WebRetriever 全球挑战赛，大赛将面向全球研究者、开发者与技术团队开放，在最贴近真实应用的评测环境中检验各自 Web Agent 的实战能力。

赛事的具体规则与报名方式将于近期另行公布，敬请期待！

相关文章