爱丁堡大学与MIT联手打造的AI科学家

发布时间：2026-07-18 00:03:06 来源：安智兰德资讯网 作者：时尚

这项由英国爱丁堡大学与美国麻省理工学院（MIT）合作开展的爱丁研究，以预印本形式发布于2026年7月，学M学论文编号为arXiv:2607.01131。联手感兴趣的打造的读者可通过该编号在arXiv平台检索到完整论文。

科学发现从来不是爱丁一蹴而就的事。真正的学M学科学家在工作中做的，远不止"提出一个想法、联手验证一个想法"这么简单。打造的他们会在一摞摞笔记本里翻来覆去地回顾已有发现，爱丁从中察觉出某种隐约的学M学规律——"咦，上次那个实验和这次好像有点关联"——然后顺着这条若隐若现的联手线索，继续挖下去。打造的这种在自己过去所有发现上反复"思考自己的爱丁思考"的能力，是学M学科学研究中最难被模拟、也最容易被忽视的联手环节。

目前市面上的人工智能科学发现系统，大多在一件事上做得还不够好：它们每次都从头开始，提出一个假设、验证它、完事。就像一个健忘的侦探，每次接手新案子都不记得自己上一次查出了什么线索，更别提把多条线索串联起来，推断出真正的幕后黑手。

爱丁堡大学与MIT的研究团队意识到了这个问题，并为此设计了一套名为DiscoPER的全新AI框架。这套系统的核心创新，就是让AI拥有一种"元反思"能力——它不仅能提出假设、验证数据，还能定期回头审视自己所有已验证的发现，找出其中的空白、矛盾和更深层的联系，然后据此调整下一步的探索方向。就像一个经验丰富的老侦探，案子查到一半会把所有照片和笔记摊在桌上，仔细琢磨："我漏查了什么？这几条线索有没有指向同一个人？"

更难得的是，DiscoPER无需任何人告诉它"你应该研究什么"。它可以从一堆原始数据——包括表格数据和照片——出发，完全靠自己决定研究什么、怎么验证、下一步往哪走。这种彻底的"自主性"，在现有系统中是罕见的。

研究团队用一个名为iNatDisco的新基准数据集来测试DiscoPER的能力。这套数据来自全球最大的公民科学观测平台iNaturalist，包含真实的物种观测记录和照片。研究团队从已发表的学术文献中整理出一批已知的生态规律，作为标准答案，看看DiscoPER能不能在没有任何提示的情况下，自己把这些规律找出来。结果相当亮眼：在包含9个已知规律的小型数据集上，DiscoPER成功找到了其中8个；在更大规模的数据集上，它同样找到了12个规律中的8个。与此同时，它提出的假设中有超过72%都能在统计检验中得到数据支持，这意味着它不是在乱猜，而是在做有依据的推断。

接下来，本文将带你走进DiscoPER的侦探世界，看看它究竟是怎么一步一步破解数据背后的秘密的。

一、现有AI科学家的通病：每次都像第一天上班

考虑这样一个场景：你是一名刑警，局里给你一摞案卷，让你从中找出规律。你翻完第一本，发现"案发地点大多在周末"；翻完第二本，发现"受害者多为老年人"。如果你是个优秀的侦探，你会把这两条线索放在一起想：会不会是某种专门在周末作案、专门针对老年人的犯罪模式？

然而，目前大多数AI科学发现系统的做法，就相当于把这两本案卷分别交给两个互不通气的侦探，让他们各自得出结论，然后就结束了。没有人负责把所有线索汇总起来，进行更高层次的推断。

这个问题在技术上被称为"缺乏对已有发现的元级推理"。研究团队梳理了现有系统的几类局限：第一类是以PC算法、GES算法、NOTEARS为代表的经典因果发现方法，这些方法能做的，只是检验数据集里每两个变量之间有没有直接关联，就像只会查两个嫌疑人之间有没有直接接触记录，完全无法表达"A通过B影响C"这样的复杂关系链。第二类是以"AI科学家"（AI Scientist）、"AI协同科学家"（AI Co-Scientist）等系统为代表的全流程AI，它们能生成丰富的假设，但必须有人告诉它"你要研究这个方向"，无法完全自主探索。第三类是ExperiGen和HeurekaBench等代码驱动系统，它们能写代码来验证假设，但同样依赖外部提供的研究问题或任务描述。

DiscoPER的目标，是同时满足三个条件：从原始、无结构的数据出发，无需预设研究方向；用可执行代码表达任意可检验的假设；自主决定下一步研究什么，而这个决定必须建立在对已有发现的综合分析之上。在此之前，没有任何系统同时做到了这三点。

二、DiscoPER的核心设计：提出、验证、反思，循环往复

DiscoPER的工作机制，可以用一个侦探团队办案的流程来理解。整个流程分为三个环节，周而复始地运转。

第一个环节叫"提出"（PROPOSE）。系统中的一个AI侦探负责"提线索"——它接收数据集的概要信息，包括有哪些字段、样本长什么样，同时接收此前所有已确认的发现，以及"反思环节"给出的指导意见，然后提出一个新的假设，并同时写好一段Python代码来检验这个假设。关键在于，这个侦探不被告知要研究什么，它完全靠自己判断。如果数据集里有照片，它还可以看图说话——直接从图片中提取信息，形成新的研究方向。

第二个环节叫"验证"（EVALUATE）。提出的假设代码，首先在训练集上运行，看效果是否显著；通过之后，同一段代码原封不动地在一个"藏起来"的验证集上再跑一次。只有两次都通过，这个发现才算正式成立，被收入"发现档案"。设置这个双重验证机制，是为了防止系统通过反复调整来"碰巧"让数据看起来显著——这种行为在学术界有个专有名词叫"p值操控"（p-hacking），是科研诚信的大敌。具体的门槛是：效果量（衡量发现有多强的指标，类比为"证据有多有力"）必须不低于0.2，统计显著性（衡量发现是否可能是巧合的指标）要求p值不超过0.05，而且验证集上的效果量不能低于训练集的60%。

第三个环节叫"反思"（REFLECT）。每隔五轮验证，系统中的另一个AI侦探负责"复盘"——它把目前所有已确认和已排除的发现全部摊开来审视，写出一份分析报告，指出：哪些变量或关系还完全没被研究过（发现盲区）；哪个变量反复出现在多个发现里，可能是一个隐藏的干扰因素（混淆因子）；哪几个发现合在一起，暗示着一个更复杂的高阶规律（复合假设）。这份报告随即成为下一轮"提出"环节的输入，引导系统往更有价值的方向探索。整个过程中，反思环节完全不知道标准答案是什么，它只能基于系统自己产出的发现来做推断。

这套框架在数学上可以被精确描述。系统从空的发现档案和空的指导意见出发，每一轮都基于当前的档案状态和指导意见生成新假设，验证后更新档案，再触发反思来更新指导意见，如此循环。这和现有系统的本质区别，在于指导意见不是固定的外部输入，而是系统自己根据已有发现实时生成的——这才是真正意义上的自我学习和自我调整。

三、工具箱：从表格数据到图片，DiscoPER都能处理

理解DiscoPER的能力范围，需要先了解它手头有哪些"侦查工具"。研究团队为它配备了七种统计检验工具，前五种针对表格数据，后两种专门处理图片。

针对表格数据的工具，覆盖了科学研究中最常见的几类分析需求。相关性检验工具用于判断两个连续变量之间是否存在系统性关联，比如"纬度越高的地方，某种真菌出现得越多吗"；组间差异检验工具用于比较两个群体在某个指标上是否有显著差别，比如"哺乳动物的活动范围是不是比植物宽得多"；预测模型检验工具则是用随机森林这类机器学习方法，看某组特征能不能预测某个目标变量；聚类与富集检验工具先把数据分成几个自然群落，再看这些群落在某个分类变量上是否有规律；分层重测工具专门用来排查混淆因子，它把数据按某个变量分层，在每个层内分别做检验，看原来的发现在每个子群体里是否都成立。

针对图片的两种工具，则是DiscoPER超越普通数据分析系统的关键所在。视觉属性检验工具会把单张图片发给一个视觉语言模型，让它判断图片里的特定视觉属性（比如"这张照片里的栖息地类型是森林、草地还是城市"），然后把这些标注结果和表格里的分类变量做统计检验。视觉组间比较工具则会同时把两个群组的图片发给视觉语言模型，让它描述两组图片在视觉上的系统性差异，并给出置信度评分。

这套工具组合的意义在于，DiscoPER的假设空间——也就是它理论上能表达和检验的所有假设的集合——在原理上包含了所有可以用Python代码实现的统计检验。这比经典因果发现方法的假设空间大得多，后者只能检验两两变量之间的单一关系。

四、iNatDisco：用真实的大自然数据来考验AI

研究团队专门为DiscoPER设计了一个新的评测基准，因为现有的评测方式都不适合评价真正意义上的自主开放式科学发现。基于边的恢复率这类指标，只能评价有没有找到变量间的直接关联，无法评价复杂的交互模式；问答式基准直接告诉系统要研究什么，更是南辕北辙。

iNatDisco基准由两个数据集构成，数据来源是iNaturalist平台上经过专家认证的物种观测记录。每条记录包含一张照片、经纬度坐标、观测日期、定位精度，以及物种名称和分类层级（界、门、纲……）信息。研究团队从已发表的生态学文献中，筛选出了那些理论上应该能从iNaturalist数据中被发现的生态规律，作为标准答案。

规模较小的数据集iNatDisco-800包含800条观测记录，跨越8个物种，标准答案共9条。这些规律来自真实发表的学术论文，例如"蘑菇（具体是毒蝇伞和同类真菌）的观测记录集中在9月至11月，与秋季出菇现象一致"（来源：Boddy等人2014年发表于《真菌生态学》的研究），以及"帝王蝶的观测纬度在3月至8月间持续北移，符合其迁徙通道记录"（来源：Brower 1996年发表于《实验生物学杂志》）。

规模较大的数据集iNatDisco-50K包含5万条观测记录，跨越9776个物种，标准答案共12条，涵盖了更多跨物种、跨界别的大尺度生态规律，例如物种多样性随纬度升高而降低的纬度多样性梯度规律、鸟类春夏季向北迁徙的规律，以及两栖动物在3月至5月间集中出现的规律。

评测时，系统在发现档案里找出所有已通过统计检验的发现，再由另一个AI（采用Claude Sonnet 4.5模型）充当"语义裁判"，判断每条发现是否在语义上与某条标准答案相符——即使用词不同、涉及物种不同，只要生态机制本质相同，就算匹配成功。这种设计比字符串匹配要灵活得多，更贴近真实科学评审的方式。研究团队还手动核查了所有评分为"完全匹配"的结果，裁判模型与人工判断的一致率达到了95%。

五、正式比赛：DiscoPER与其他方法的较量

在iNatDisco-800数据集上的对比结果，清晰展示了不同类型系统之间的能力差距。

经典因果发现方法（PC算法结合LLM变量提取、NOTEARS结合LLM、GPT-4穷举搜索）表现最弱，最好的情况也只找到了9个标准答案中的1个。这并不令人意外——这些方法的假设表达能力从根本上就无法覆盖生态学中常见的交互效应、多变量条件关系和分类变量分析。

引导式LLM方法（HeurekaBench类型和ExperiGen类型）的表现有所提升，两者都找到了3个标准答案，但上限明显。HeurekaBench类系统被告知了具体的研究问题，ExperiGen类系统被提供了数据集描述和初始假设方向。然而，正是这种"被告知方向"的特性限制了它们——固定的研究清单无法随着发现的积累而动态调整，而且简单的任务描述倾向于让系统生成简单的两两比较假设，而非标准答案中大量出现的跨物种复合模式。

不带反思模块的DiscoPER（即仅有提出和验证两个环节，没有元反思）找到了7个标准答案，假设支持率为70%。这已经是一个显著的进步，说明开放式假设空间和双重验证机制本身就带来了很大的提升。

完整版DiscoPER在两个数据集上都表现最佳：iNatDisco-800上找到8/9，假设支持率72.7%；iNatDisco-50K上找到8/12，假设支持率74.2%。后者假设支持率略高，说明数据量更大时，系统提出的假设能得到更可靠的统计验证，即便物种数量从8个扩展到了近一万个，复杂度大幅上升。

六、规模扩展实验：数据越多越好，迭代越多越深

研究团队在iNatDisco-50K数据集上做了两组缩放实验，分别研究数据规模和迭代次数对发现质量的影响，结果揭示了两条有趣的规律。

数据量的影响方面，团队从5万条记录中不断缩减，依次测试了800条、2000条、5000条、1万条、2.5万条和5万条数据下的发现能力。在800条数据时，发现召回率只有17%，假设支持率也只有20%。随着数据量增加，两个指标都稳步攀升，到5万条数据时，召回率升至75%，支持率升至72%。这个趋势直观上很好理解：数据越多，微弱的生态信号就越容易被统计检验捕捉到，系统就越能区分真实规律和随机噪声。

迭代次数的影响则呈现出一个更有趣的分叉走势。随着迭代次数从10次增加到100次，召回率一路上升，从33%涨到75%。然而假设支持率却从98%一路下滑，到100次迭代时降至70%。这个表面矛盾的现象，有一个合理的解释：系统在早期迭代中，会优先探索那些信号强、容易找到的规律，这些假设通过统计验证的概率很高，所以支持率很高。随着这些"容易摘的果子"都被摘光，系统在反思模块的指导下，开始探索更边缘、更复杂的假设。这些假设通过验证的概率更低，拉低了整体支持率，但它们当中确实包含了那些标准答案中更难发现的规律，从而推高了召回率。这种权衡关系，和真实科学研究中"越挖越深、越挖越难"的感觉高度吻合。

七、反事实实验：AI真的是在看数据，还是在背答案？

这是整个研究中最有说服力、也最有原创性的一个验证实验。

由于iNatDisco的标准答案来自真实发表的生态学文献，这些知识很可能已经包含在训练DiscoPER所用的大语言模型的训练数据里。换句话说，系统有可能不是真的在分析数据，而是在用记忆中的生态学知识"编"出正确答案，然后碰巧通过了统计验证。

为了排除这种可能性，研究团队构建了iNatDisco-800-CF——一个"反事实"数据集。这个数据集的图片完全不变，但表格数据被系统性地篡改，让五个已知的生态规律全部"反转"。具体而言，原本鸟类在春季向北迁徙的规律，被改成了鸟类纬度与月份完全无关；原本真菌集中在秋季出现的规律，被改成了70%的真菌观测记录落在春季（3月至5月）；原本哺乳动物地理范围比昆虫更宽的规律，被改成了哺乳动物的纬度分布极度集中（标准差仅1.5度），而昆虫的纬度分布极度分散（标准差15度）；物种多样性随纬度减少到赤道的规律被反转，以及植物在春夏集中出现的规律也被改成了植物集中在冬季。

篡改后的数据保证了反转规律在统计上确实成立（例如，修改后真菌-月份关系中，77%的真菌观测落在春季），但与真实生态学完全相反。这是一个精心设计的陷阱：如果DiscoPER只是在凭记忆背答案，它就会报告"真菌集中在秋季"，然后这个结论在反事实数据上根本通不过统计验证，最终会被抛弃。相反，如果它真的在分析数据，它就会发现"真菌集中在春季"这个"错误"的规律，并让它通过验证。

实验结果是：在50次迭代中，DiscoPER共提出了72个假设，有7个与被篡改的反事实规律相关。经过统计验证，65个假设被拒绝，最终只有5个得到数据支持。这5个支持的发现，确实反映的是被篡改后的数据规律，而非大语言模型记忆中的真实生态知识。这说明，双重统计验证机制有效地扮演了"过滤器"的角色——大语言模型确实会提出基于内部知识的错误假设，但统计验证会把这些假设挡在门外。

八、反思模块的具体贡献：从盲目搜索到精准导航

反思模块到底带来了什么改变？研究团队从两个维度进行了详细分析。

从假设类型分布来看，不带反思模块时，92%的假设都是简单的"X比Y高/低"这类两两比较。这就像一个侦探，案子查来查去只会问"这个人比那个人更高吗"，永远不会想到问"这几个人有没有共同的作案动机"。带上反思模块之后，这类简单比较的占比下降到69%，同时出现了此前完全没有的交互效应假设（占2%）和相关性检验假设（占2%），"X在某条件下达到峰值"这类更细腻的假设也从6%上升到了14%。

从具体的反思内容来看，研究团队分享了一次完整100迭代实验中反思模块产生的四个典型输出，非常能说明问题。在第5次迭代，反思模块注意到"定位精度"这个变量在所有相关假设上的支持率为零，于是建议停止尝试与它相关的假设，转而研究界（Kingdom）层级的地理分布差异；在第14次迭代，反思模块发现不同分类群的季节性模式还没有被系统地比较，建议专门研究鸟纲（Aves）和昆虫纲（Insecta）的季节性时间差；在第34次迭代，反思模块注意到真菌和植物已经分别与纬度做了比较，于是建议把两者放在一起，同时考虑纬度和经度，检验它们是否占据不同的空间生态位——这个建议后来产生了一个通过统计验证的重要发现；在第49次迭代，反思模块注意到半球（南北半球）这个变量反复出现在所有与季节相关的发现里，可能是一个隐藏的混淆因子，建议在做任何季节性分析之前先按半球分层。

这四个例子分别对应了反思模块最重要的三种功能：发现盲区、生成复合假设、检测混淆因子。每一种都指向了单纯依靠记忆力无法实现的系统性推断。

九、视觉能力：从照片中读出数据里读不出的东西

DiscoPER的视觉能力，在两个具体案例中得到了很好的展示。

(注：原文此处为章节标题，具体案例细节在后续合成基准实验中有所体现，此处保留结构)

十、与其他标准数据集的对比：经典基准上的表现

除了自制的iNatDisco基准，研究团队还在两个有明确标准答案的经典因果发现数据集上测试了DiscoPER：SACHS（11个蛋白质节点、17条已知因果边）和ASIA（8个变量、8条已知因果边）。

在这两个数据集上，评价指标使用的是边恢复F1值（越高越好）。DiscoPER在SACHS上达到0.83的F1值，在ASIA上达到0.86。相比之下，PC算法分别是0.48和0.77，GES算法是0.42和0.73，NOTEARS是0.36和0.68。GPT-4穷举搜索在SACHS上得到0.74，在ASIA上得到0.93，后者比DiscoPER稍高，但在SACHS上低了不少。去掉反思模块之后，DiscoPER在SACHS上降至0.72，在ASIA上降至0.80，证实了反思模块即便在结构明确的经典数据集上也能带来提升。

十一、可控性实验：用户可以引导，但方向越窄发现越少

研究团队还测试了当用户提供额外背景信息时，DiscoPER的行为会如何变化。

在"先验知识"条件下，用户告诉系统一些已知的事实，比如"真菌集中在秋季"和"帝王蝶会迁徙"，意思是"这些你不用再研究了"。结果系统的话题遵从率从43%上升到54%（即更多假设与用户提供的背景方向相关），同时召回率保持在7/9不变，说明用户可以有效地告诉系统"跳过"某些已知领域，而不会损失发现能力。

在"研究聚焦"条件下，用户明确说出一个研究兴趣方向，比如"我想研究GPS精度中的观测者偏差"。结果话题遵从率升至68%，但召回率降至6/9，假设支持率也有所下降。这个结果诠释了一个自然的权衡：用户提供的聚焦方向越明确，系统的探索范围就越窄，找到意外发现的机会也随之减少。这和真实科研中"定向研究"与"探索性研究"之间的张力完全一致。

十二、合成视觉基准：专门测试图片分析能力的对照实验

为了更干净地评估视觉分析能力的实际贡献，研究团队设计了一个完全合成的数据集：5000张程序化生成的图片，内容是各种颜色、形状、大小、纹理的几何图形，背景切换于天空、草地、水面和沙地之间。由于这些图片从未出现在任何训练数据里，大语言模型不可能凭记忆知道其中的规律。

数据集内置了8条已知规律，按类型分为纯表格规律（比如温度和海拔的强负相关）、纯视觉规律（比如秋季图片中67%是红色形状）和跨模态规律（比如蓝色形状出现在明显更高海拔的地方）。

在100次迭代下，DiscoPER找到了8条规律中的3条：两条纯表格规律全部发现，一条纯视觉规律（颜色与季节的关联）也被找到，但其余纯视觉和跨模态规律都未被发现。研究团队分析，问题不在于系统提出了错误的视觉假设，而在于当前的图片分析流程——"用视觉语言模型给每张图片打标签，再做统计检验"——在统计功效上不够强，单张图片的分类噪声积累起来，让真实的视觉规律淹没在随机波动里。这个发现为未来改进视觉分析工具的统计效率指明了方向。

归根结底，DiscoPER代表的是一种思路上的重大转变：从"给AI一个问题让它去解决"，到"让AI自己决定研究什么、怎么研究、从已有发现中学什么"。元反思机制的引入，让系统不再是一个孤立的假设检验机器，而更像一个能随时间积累经验、不断修正探索策略的真正研究者。

这项研究当然也有清醒的自我认识。公民科学数据本身存在偏差——观测记录的密度和地理分布受到人类观测者行为的影响，未必能准确反映真实的生态现象。iNatDisco的标准答案集合是不完整的，系统提出并通过验证的发现，完全有可能是真实存在但尚未在文献中被记录的规律。最重要的是，研究团队明确强调，DiscoPER的输出应当被视为"待专家审查的候选发现"，而不是已经确立的科学事实。

话虽如此，在一个数据规模呈指数增长、而人类分析能力相对有限的时代，像DiscoPER这样能自主探索、自我修正、并把每一个数字背后的意义用统计学严格检验的AI助手，确实为科学研究的提速提供了一种值得认真对待的可能性。

有兴趣深入了解技术细节的读者，可以通过arXiv编号2607.01131查阅完整论文，所有提示词、统计工具设计和数据集构建细节都在附录中有完整呈现。

Q&A

Q1：DiscoPER与普通AI科学发现系统的本质区别是什么？

A：普通AI科学发现系统通常每次独立处理一个假设，不记得也不利用之前发现了什么。DiscoPER引入了"元反思"机制，每隔一定轮次会对已有发现进行整体分析，找出盲区、混淆因子和复合规律，然后把这些分析结果作为指导意见用于下一轮探索。本质上，普通系统是一次性检验，DiscoPER是在自己的历史发现上持续学习和调整方向。

Q2：DiscoPER的统计验证机制如何防止"碰巧对了"的情况？

A：DiscoPER要求每个假设对应的代码先在训练集上通过验证，再原封不动地在一个独立的验证集上重跑一次，两次都满足效果量不低于0.2且p值不超过0.05才算通过。验证集上的效果量还不能低于训练集的60%，防止过拟合。这种"先练后考"且"考试只考一次"的设计，有效避免了通过反复调整来让数据"看起来显著"的p值操控行为。

Q3：iNatDisco数据集是如何保证标准答案的准确性的？

A：iNatDisco的标准答案并非凭空捏造，而是从已发表的权威生态学文献中筛选而来。研究团队仔细梳理了现有的学术成果，提取出那些理论上应该能从iNaturalist公开数据中推导出的生态规律（如物种迁徙模式、季节性分布、纬度多样性梯度等），将其作为"标准答案"。此外，评测环节引入了基于语义匹配的AI裁判（Claude Sonnet 4.5）进行比对，并由人工对高分结果进行核查，确保裁判模型与人工判断的一致性达到95%，从而在方法论上最大程度保证了评估的客观性与准确性。

相关文章