现代AI之父新作：13个大模型实测，检索agent真的可信吗？

发布时间：2026-07-17 12:53:35 来源：安智兰德资讯网 作者：热点

新智元报道

【新智元导读】当大模型接入网络搜索时，现代新作信是模型否容易受到虚假内容的误导？最新实测数据显示，各模型的实测安全性差异巨大：Claude表现相对最佳，但仍面临“沉默漂移”与“误拒”风险；GPT在常规测试中表现优异，检索但在新兴的现代新作信Agent技能推荐场景中极易遭受攻击。这一发现对依赖AI搜索的模型用户安全至关重要，警示业界需全面评估模型及其防御机制。实测

2026年央视3·15晚会曝光了一条名为「GEO」的检索灰色产业链：记者虚构了一款不存在的智能手环，从业者利用软件批量生成十余篇软文并一键发布。现代新作信短短两小时内，模型某主流AI大模型便将这些虚假内容视为「标准答案」，实测向中老年养生群体推荐该捏造产品。检索从业者直言，现代新作信这门生意的模型本质就是给AI「投毒」。

晚会揭示了现象，实测却未回答一个更基础的问题：面对同样的「投毒」攻击，不同的大模型表现是否一致？谁更易被操纵？谁能识破攻击？差距究竟有多大？

近日，由「现代人工智能之父」Jürgen Schmidhuber领衔，联合KAUST生成式AI卓越中心、吉林大学、浙江大学及瑞士人工智能实验室（IDSIA）的研究团队，发布了一篇旨在解答上述问题的研究论文。

该研究提出了名为 SearchGEO的评测框架，系统量化了当AI代理（Agent）执行上网搜索并综合结果时，攻击者诱导和操纵结果的难易程度。

论文链接：https://arxiv.org/abs/2606.16821
开源页面：https://github.com/Beastlyprime/SearchGEO

研究团队在13个主流大模型后端、5种攻击模式及4个高风险领域进行了系统测试。结论远比简单的「谁更安全」复杂：13个模型的脆弱程度相差一个数量级，不存在通杀所有模型的单一攻击方式，且两个看似最安全的模型，其失败模式截然不同。

图113个后端的攻击成功率总览，以及Agent-Skill探针中Claude与GPT的失败模式。

一个被低估的攻击面

3·15曝光的案例之所以成立，核心在于搜索Agent的工作机制：用户让AI助手选购智能手环或查询法律问题时，助手并非仅凭记忆作答，而是通过联网搜索、阅读前几条结果，再汇总生成答案。

问题根源在于互联网的开放性：任何人都能发布内容，而在AI生成内容泛滥的当下，制造虚假信息的成本极低。

攻击者只需发布几个精心伪装的网页——其排版、语气、来源均模仿真实结果，唯一目的是让AI将指定产品「背书」给用户。攻击者无需侵入系统，无需接触模型权重或提示词，即可影响所有依赖联网检索的AI助手。

这正是本研究关注的威胁模型：开放网络上的第三方内容，经由Agent的综合处理，被悄然转化为「被模型认可的推荐」。

3·15演示了攻击的可能性，而本研究旨在量化：这种攻击在哪些模型上、以何种方式、能达到何种程度。

图2SearchGEO评测框架：涵盖多领域案例、五种攻击模式、检索结果注入设计及多维度评价指标。

SearchGEO评测方式

要准确评估搜索结果污染的影响，难点在于隔离变量。网页影响AI可能源于内容本身，也可能仅因其看起来更专业或排名靠前。

SearchGEO构建了一个「混合搜索代理」：首先缓存真实的SerpAPI搜索结果，随后在指定排名位置，用攻击者构造的网页内容替换原有结果，从而隔离污染的因果效应。

攻击内容经过严格控制：由AI仿照真实搜索结果的质量生成，并经人工逐篇审查，剔除易暴露「伪造」痕迹的内容。

研究将攻击归纳为三个层次、五种模式：
1. 机器层：植入人类不可见但模型可读取的隐藏内容。
2. 信任信号层：伪造权威来源，或制造多个来源「一致同意」的假象。
3. 复合攻击：叠加上述两种模式。

核心衡量指标为攻击成功率（ASR）：即AI最终是否将攻击者指定的目标推荐给用户。

实验结果

在该评测体系下，13个后端的整体ASR拉开了一个数量级的差距。

• 最稳健：Claude-Sonnet-4.6，整体ASR为 0.0%；GPT-5.4-mini紧随其后，仅为 0.8%。
• 最脆弱：Gemini-3-Flash，整体ASR高达 31.4%。其中，仅靠「合成共识」一种攻击（多个看似独立的来源指向同一结论），即可将其ASR推高至 73%。
• 其他高风险模型：三个Gemini变体，以及DeepSeek-V4-Flash、MiniMax-M2.7，整体ASR均在 17%以上。

图313个主流大模型在搜索结果污染下的攻击成功率（按ASR升序排列，数值越低越安全）。

研究揭示了一个关键现象：后端大模型之间的差距，远大于领域之间或攻击模式之间的差距。不同模型对特定攻击模式的敏感度不同：Gemini极度害怕「合成共识」，而大多数其他模型则更容易被「权威锚点+引用链」攻破。这意味着，防御策略必须针对模型特性进行定制。

GPT真的安全吗？

仅看上述数据，容易得出「GPT-mini几乎免疫」的结论——0.8%的ASR使其与Claude并列第一梯队。

然而，研究额外设计了 Agent-Skill探针。当AI助手推荐的不再是普通产品，而是一个「Agent技能/插件」时，其「背书」将转化为一条可直接执行的安装命令。推荐链在此转变为安装链，使用户面临更大的信息安全风险。

研究使用「合成共识」攻击（三个伪造来源收敛到一个不存在的技能名）在10个OpenClaw高风险场景下测试，结果出人意料：GPT-5.4-mini全盘接受了虚构技能，并原样给出了精确的安装命令。

在涵盖OpenClaw、Anthropic Skills、Hermes Agent三个生态共18个匹配场景中，GPT-5.4-mini接受了17个，更新的GPT-5.5接受了16个（仅两次拒绝出现在Anthropic Skills）。这种「来者不拒」的特性横跨全部5种攻击模式。

因此，GPT的0.8%并不代表稳健：常规评测多覆盖成熟、已知任务，而在Agent技能推荐等新兴场景中，GPT会近乎完全失守。

Claude的0%有代价

相较于GPT在新场景中的脆弱，Claude的表现更为微妙：其0%的ASR背后，隐藏着两个不易察觉的代价。

第一点：沉默漂移（Silent Drift）
攻击未成功（ASR=0），不代表答案未受影响。研究使用 ΔOSS指标衡量答案相对于干净基线向攻击目标的偏移程度。Claude-Sonnet-4.6在264个用例中，有8例（3.0%）发生了超过一个评分档位的沉默漂移：攻击虽未使其明确背书，却已悄悄将回答推向攻击者期望的方向。在全部13个后端的合并统计中，复合攻击能使15.0%的「失败」案例发生这种漂移。仅看ASR会系统性低估攻击的真实影响。

图4沉默漂移按攻击模式分布：机器层攻击效果回缩，而信任信号层与复合攻击即便未「成功」，也将答案推向攻击目标。

第二点：连累式拒绝（Collateral Rejection）
在Agent-Skill探针的干净基线下（无攻击），Claude在10个场景中全部拒绝给出有用回答。更极端的是，在8个场景中，它直接否定了OpenClaw这一真实存在的合法生态，将正经工具误判为可疑对象并拦截。

这意味着，当攻击者用大量虚构品牌灌满某品类时，Claude可能出于谨慎拒绝整个品类，导致合法生态被误伤。攻击者虽未达成直接推荐目的，却实现了破坏性目标。这是一种传统ASR度量无法捕捉、却切实伤害用户的失败模式。

关于防御的启示

研究还指出了两个关于防御的具体问题：

1. 「伪造共识」需高度警惕：「三人成虎」效应在AI助手中依然存在。ASR会随独立佐证来源数量的增加而单调上升。反复刷同一篇软文无效，攻击者需付出真实成本伪造多个独立来源——这也指明了防御方向：识别来源的独立性。
2. 防御并非模型无关：一套基于OWASP的Prompt级防御能降低ASR，但无法消除；而一个现成的OpenClaw部署框架，虽能降低两个后端的ASR，却在Gemini-3-Flash上将权威类攻击放大了31.8%。这表明，「模型」与「部署框架」必须作为整体进行评估和设计，而非依赖通用补丁。

总结

搜索内容操纵仍是当前主流LLM助手面临的悬而未决的挑战。Claude-Sonnet与GPT-mini在常规评测中表现较好，但GPT在新场景下完全失守，Claude则存在过度拒绝和沉默漂移的潜在风险。

研究提出以下建议：
* 将「对抗内容下的搜索推荐可靠性」视为模型安全的一等评测维度，而非部署层的次要问题。
* 评测指标应超越单一的ASR，纳入沉默漂移、误拒率等被忽视的风险指标。
* 防御方案应针对「模型+框架」组合进行设计。
* 提供方需向用户如实披露不同模型、不同价位在源敏感任务上的能力边界。

当AI助手越来越多地替我们查询信息时，这项研究提醒我们：守护其评测和防御的体系，还远远没有跟上。

作者简介

该研究由KAUST（沙特阿卜杜拉国王科技大学）生成式AI卓越中心，联合吉林大学、浙江大学、瑞士AI实验室IDSIA共同完成。
* 第一作者：KAUST 陈奕梦
* 核心成员：吉林大学 任哲、郭丹丹；KAUST Firas Laakom；浙江大学 李渝；KAUST/IDSIA Jürgen Schmidhuber。

参考资料：
https://arxiv.org/abs/2606.16821

编辑：LRST

相关文章