条条电路通罗马：大模型可解释性的唯一机制可能从一开始就不存在

发布时间：2026-07-17 16:59:55 来源：安智兰德资讯网 作者：焦点

长期以来，条条通罗机制可解释性（Mechanistic Interpretability）领域存在一个虽未明言却被视为公理的电路前提：模型执行同一任务时，其内部必然对应一条唯一或近乎唯一的马大模型「电路」（circuit）。研究者致力于「电路发现」（Circuit Discovery），可解旨在定位这些特定的释性始内部结构。然而，机制一篇被 ICML 2026 接收的从开存新论文给出了令人不安的结论：「唯一电路」可能根本不存在。实验表明，条条通罗同一任务可由多个结构高度不重叠、电路但同样具备高能力、马大模型稀疏且完备的可解电路独立支撑。该论文将这一长期默认的释性始前提命名为「功能各向异性假说」（Functional Anisotropy Hypothesis），并通过实验与理论双重路径，机制系统性地证伪了这一假设。从开存

一个被默认已久却从未言明的条条通罗假设

近年来，电路与流形发现（Circuit and Sheaf Discovery, CSD）已成为机制可解释性领域的热点。其核心目标直指大模型这一「黑盒」：揭示模型在展现特定能力时，内部哪些组件（如注意力头、MLP层）及其连接（残差流中的信息通道）真正发挥了因果作用。

在此领域，有两个紧密相关但内涵不同的概念：
* Circuit（电路）：指在干预下具有因果关联的计算子图。
* Sheaf（流形）：由 DiscoGP 提出，标准更为严苛。它不仅要求因果相关性，还要求该结构在独立运行（被剪枝边仅传递零激活值）时，能独立支撑起任务表现。

本文主要聚焦于 Sheaf，但结论同样适用于 Circuit。纵观已发表的 CSD 工作，几乎都隐含着一个愿景：每一个能力都对应着一个结构特化、唯一的内部机制。

论文信息
* 标题：All Circuits Lead to Rome: Rethinking Functional Anisotropy in Circuit and Sheaf Discovery for LLMs
* 作者：Xi Chen, Mingyu Jin, Jingcheng Niu, Yutong Yin, Jinman Zhao, Bangwei Guo, Dimitris N. Metaxas, Zhaoran Wang, Yutao Yue†, Gerald Penn†（共同一作，† 通讯作者）
* 机构：多伦多大学、香港科技大学（广州）、罗格斯大学、达姆施塔特工业大学、西北大学
* 会议：ICML 2026（韩国，首尔）
* 论文链接：https://openreview.net/forum?id=3uC9teMlUt
* 代码链接：https://github.com/TonyXiChen/OASR

该论文将上述假设定义为功能各向异性假说。这一假说看似合理，并主导了当前的评测范式：
1. 基于 Tracr 的合成基准，通过「发现电路与预设 Ground-truth 机制的吻合度」进行评分。
2. MIB（Mechanistic Interpretability Benchmark）等基准奖励那些用最少组件实现高性能的电路。

这两种范式均隐式地默认：「同一模型内，一个任务对应一个机制解释上的正确答案」，并预设进一步压缩终将收敛至一个唯一且不可或缺的核心机理。但如果这一前提本身就是错误的呢？

同一个任务，可由几乎不重叠的两条电路完成

为了系统性地探索「另一条路」，作者提出了重叠感知的 sheaf 排斥（Overlap-Aware Sheaf Repulsion, OASR）。这一思路简洁而优雅。

作为 CSD 的框架基底，DiscoGP 将 Sheaf 发现建模为一个可微的「选边」问题：为每条边分配可学习的 logit，并在稀疏性、任务性能和完备性三个目标下，通过 STE（Straight-Through Estimator）优化二值掩码。

在经典的间接宾语识别（IOI）任务中，作者利用该方法找到了两条 Sheaf：A 和 B。结果显示，两者在 IOI 任务上均达到 100% 准确率，且在完备性准确率、边密度等标准指标上旗鼓相当。依据现有所有评判标准，A 和 B 均为「优质 Sheaf」，具备充分的解释力。

然而，真正惊人的发现在于它们的重叠程度：
* 交集：仅 96 条边
* 并集：2351 条边
* 交并比（IoU）：仅为 4.1%

这一数值已逼近在有向无环图（DAG）子图限制下随机选边所能产生的重合度上限。换言之，两条结构截然不同的 Sheaf，支撑起了同一个任务并达到同等性能。这直接驳斥了功能各向异性假说。

作者进一步排除了「这只是表面差异」的可能性。通过逐层分析两条 Sheaf 的连边交集，发现它们在中间层的边分布存在显著差异。这并非简单的重参数化或组件换位，而是信息流动与选取方式在层间发生了本质变化。

此外，这种现象并非 IOI 任务独有。作者在 BLiMP 子任务（AGA、ANA）、一系列 DNA 变体以及 Docstring 等常用基准上重复了相同流程。每个任务均能稳定找到两个任务性能相当，但 IoU 极低（普遍在 4%–11%之间）的 Sheaf。

电路越多，「共识」越少

直觉上，如果同一任务存在唯一的核心内部机制，那么随着发现 Sheaf 数量的增加，它们的交集应逐渐收敛至该核心。作者对此进行了实证检验：对每个任务通过 OASR 重复发现 20 次，观察累计交集与累计并集的演化趋势。

结论恰恰相反：
* 随着 Sheaf 数量增加，并集稳步增长。
* 交集持续萎缩。在许多任务上，20 条 Sheaf 的全局交集仅剩几十条边，对应的互 IoU 远低于 1%（IOI 在 OASR 下仅为 0.15%）。
* 显式施加 OASR 重叠惩罚，会使共享交集进一步缩小，同时几乎不损失稀疏性和性能。

这意味着：增加发现的 Sheaf 数量，并不会让它们收敛到一个共同的核心。更多的 Sheaf 不会通向共识，而是揭示了更多互不相同、却同样可行的实现机制。

作者强调，这种「消失的交集」不能归因于随机初始化噪声或发现过程的不稳定性。在所有运行均产出高质量 Sheaf 的前提下，交集结构依然极小，且在显式惩罚重叠时进一步收缩。

这不是某一种方法的「偏差」

一个自然的质疑是：这是否仅是 DiscoGP + OASR 这一特定方法的特性？

作者将相同分析应用于另外三种主流电路发现方法：
1. ACDC：基于能力阈值的启发式逐边删除。
2. EAP：基于一阶梯度归因。
3. Edge Pruning (EP)：基于梯度优化的剪枝。

尽管设计哲学迥异，这三种方法均默认在「逼近唯一解释性子图」。结果显示，同样的现象在每种方法上均被复现：

• ACDC 对遍历顺序敏感：注意力头索引本无语义优先级，但仅改变同一层内注意力头的遍历顺序，在完全相同的阈值下，ACDC 就会给出结构差异巨大、IoU 远低于 1 的不同电路。
• EAP 对任务无关信息敏感：在 IOI 中，将提示中的 "John, Mary" 替换为 "Alice, Bob"（任务等价但表面不同），EAP 找到的电路间 IoU 随保留边数 k 系统性下降。若机制真正唯一且特化，不应对此类表面改动如此敏感。
• EP 与 DiscoGP 同源：当将 EP 原本的 KL 散度目标替换为 DiscoGP 的任务特定损失后，EP 同样表现出电路的高度不一致性。原本看似「稳定」的算法行为，实则是因在输出整个词表分布上做对齐所带来的假象。

跨越这些方法论的巨大差异，结论一致：功能各向异性的失效，不是 DiscoGP 一家的问题，而是贯穿主流 Circuit 与 Sheaf 发现范式的普遍现象。

当连「核心」也被证明可有可无：三条边的故事

至此，一种退而求其次的希望尚存：即使电路不唯一，是否至少存在一部分共享组件，构成跨所有电路存在的「不可或缺的核心」？非唯一性或许仅发生在外围，而关键计算集中在一个紧凑、不可替代的子电路中。

为检验这一更弱的假说，作者进行了极端实验：从多条由 DiscoGP + OASR 发现的 IOI 电路中反复取交集并测试其性能。令人惊讶的是，这些交集电路在不断缩小的同时依然高度可用：缩至 11 条边时，准确率仍保持在 90%以上。随后，作者从这 11 条边出发进行穷举搜索，最终分离出一个超稀疏的 三条边 Sheaf：在 Zero Ablation（零值激活干预）条件下，仅靠这三条边，IOI 准确率达到 86.7%。

这三条边分别是：
* e₁：初始输入 Embedding → 第 0 层 MLP
* e₂：第 0 层 MLP → 第 10 层第 7 个注意力头的 V Node
* e₃：第 10 层第 7 个注意力头 → 最终残差流表示 Hidden Representation

乍看之下，这三条边堪称「不可或缺的核心」。若将其从已发现的 IOI 电路中移除，平均准确率会从高位跌至 52.3%；若在发现过程中明令禁止使用它们，DiscoGP 甚至无法找到达成高任务性能的 Sheaf。一切迹象表明：模型确实反复依赖这个收敛到的核心机制。

然而，这一结论建立在一个被忽视的前提上：将 IOI 视为一个不可分割的整体任务。

当作者将 IOI 拆解为 ABBA与 BABA两个子模板，并在「三条边全部禁用」的约束下重新进行 Sheaf 发现时，模型依然能找到稀疏（边密度低于 3.5%）且高度可用的电路（见下表）。

由此，论文确立了「非不可或缺性」：每一条边都能被某条替代 Sheaf 绕开。那个看似坚不可摧的「三条边核心」之所以显得不可或缺，仅仅是因为 IOI 被当成了一个聚合任务。一旦将子任务拆解，核心的「必要性」便烟消云散。

一个理论解释：分布式稠密电路假说

如果非唯一性如此普遍，其背后是否有更深的原因？这是论文的核心理论贡献：分布式稠密电路假说（Distributive Dense Circuit Hypothesis）。作者证明：电路解释在一般情况下本就是非唯一的，且这种非唯一性并非偶然，而是高维表示中叠加（Superposition）的直接后果。

该直觉的合理化推导步骤如下：

这对可解释性研究意味着什么

需要强调的是，这篇论文并未否定 CSD 的价值：所发现的机制依然具有意义且具备因果相关性。它真正动摇的，是我们解读这些机制的方式。

一条被发现的电路，不应再被宣称为「支撑任务的唯一机制」；它只是由功能等价机制构成的更大空间中的一种实现而已。那种朴素的还原论视角——将一个任务的行为归因于一个唯一、稀疏、不可或缺的子图——已不足以解释观察到的非唯一性。取而代之的，应是一种更分布式的计算机制理解：任务行为源自一群共存且部分冗余的稠密机制的共同作用。

「条条电路通罗马」（All Circuits Lead to Rome）这一标题，恰是本文最精炼的注脚。

更多实验细节（包括各方法随机性来源分析、节点级重叠、逐个 Sheaf 的完整统计、各任务计算图可视化等）与完整证明，请参阅原论文及附录。

作者简介

本文由陈熙、金明宇、牛靖程共同作为第一作者完成。
* 陈熙：本科毕业于多伦多大学，师从 Gerald Penn 教授，将于今年 9 月入学香港中文大学（深圳），师从杜梦楠教授攻读人工智能方向博士学位。
* 金明宇：在读博士生。
* 牛靖程：2025 年获得多伦多大学计算机科学博士学位，导师为 Gerald Penn 教授。完成本工作期间，在香港科技大学（广州）岳玉涛副教授课题组担任研究助理。
* 尹禹童：西北大学在读博士生。
* 汪昭然：西北大学副教授，隶属于西北大学深度学习中心和优化与统计学习中心。尹禹童和汪昭然教授对本文的理论构建给予了大力支持。

本工作重点研究的电路发现算法之一为 DiscoGP，牛靖程为 DiscoGP 的共同第一作者。

相关文章