伊利诺伊大学厄巴纳-香槟分校：让AI多想几遍，反而可能越想越错

发布时间：2026-07-17 07:08:09 来源：安智兰德资讯网 作者：探索

这项由伊利诺伊大学厄巴纳-香槟分校（UIUC）研究团队主导的伊利研究，已于2026年6月以预印本形式发布。诺伊纳香论文编号为 arXiv:2606.28661，大学多想标题为《当更多采样适得其反：测试时扩展的厄巴众数上限与相关性上限》（When More Sampling is Counterproductive: Modal and Correlation Ceilings for Test-Time Scaling）。

你是槟分遍反否经历过这样的时刻：面对一道选择题反复推敲，原本笃定的校让想正确答案被反复修改，最终却选错了？伊利这种“想多了反而出错”的现象，不仅存在于人类认知中，诺伊纳香更是大学多想当前最先进AI推理系统面临的严峻挑战。本研究旨在深入剖析这一悖论，厄巴揭示AI在推理过程中的槟分遍反根本性瓶颈。

研究团队提出了一个反直觉的校让想核心命题：让AI对同一问题进行多次独立作答并从中择优，并不必然提高准确率。伊利事实上，诺伊纳香当采样次数超过某一临界点后，大学多想继续增加样本不仅无效，反而可能加剧错误。为此，研究引入了两个关键概念：众数上限（Modal Ceiling）与相关性上限（Correlation Ceiling），并通过严谨的数学推导与实证数据验证了这两大上限的存在及其边界。

该研究的深远意义在于，它指出了AI推理系统长期被忽视的核心痛点——问题不在于AI“能否生成”正确答案，而在于其“能否识别”正确答案。这一发现对AI系统架构设计、性能评估体系以及计算资源的优化配置具有直接的指导意义。

一、AI的决策机制：从“反复抽样”到“多数投票”

理解本研究的前提，是厘清现代AI推理系统的一种主流工作模式。

面对复杂难题，AI通常不直接输出单一答案，而是采用测试时扩展（Test-Time Scaling）策略：对同一问题独立生成大量答案（如100次或1000次），随后从中筛选最终结果。其底层逻辑是“大数定律”：样本越多，命中正确答案的概率越高。

这类似于允许考生反复填写答题卡，只要有一次正确即可通关。研究人员将这种“至少命中一次正确答案”的概率定义为覆盖率（Coverage）。毫无疑问，覆盖率随采样次数增加而单调递增。

然而，实际部署中的AI系统必须输出唯一答案。最常用的筛选机制是多数投票（Majority Voting），即选择出现频率最高的答案，这种方法也被称为自洽性（Self-Consistency）。

问题的核心在于：
假设某难题AI作答100次，其中3次正确，但40次给出了相同的错误答案。多数投票机制将选出那个出现40次的错误答案，而正确的3次答案被淹没。若继续增加至1000次，错误答案可能增至400次，正确答案仍寥寥无几。此时，系统不仅未能纠正错误，反而以更“自信”的姿态输出了错误结论。

研究团队将“覆盖率”与“选择准确率”之间的落差定义为可识别性缺口（Identifiability Gap）。覆盖率持续攀升，而选择准确率却迅速触顶，两者之间的空白区域，正是AI“能生成却无法选出”的盲区。

二、第一道壁垒：投票结果的固化与“众数上限”

研究团队通过数学建模揭示了投票结果的固化过程。

对于固定题目，AI的每次作答构成一个概率分布，其中出现频率最高的答案称为众数（Mode）。根据大数定律，随着样本量增加，各答案的频率将收敛于其真实概率，投票结果也将稳定收敛至众数。

这意味着：
1. 若众数为正确答案，增加采样有益；
2. 若众数为错误答案，增加采样只会强化错误结论。

这一由“AI最常给出的答案是否正确”决定的极限，被称为众数上限（Modal Ceiling）。在基准测试中，所有题目的众数上限平均值即为众数命中率（Modal-Hit Rate, $\pi_{mode}$）。一旦达到此上限，额外采样仅浪费算力或增强错误自信。

实证数据验证：
研究团队使用Beeching等人发布的MATH-500数据集（500道数学题），结合Llama-3.2-1B-Instruct模型进行实验（每题256次采样）。结果如下：
* 覆盖率：攀升至0.88（近90%的题目至少有一次答对）。
* 选择准确率：仅0.45（不足半数题目投票正确）。
* 收敛点：约64次采样后准确率不再变化。
* 答案分布：每题平均仅产生约13种不同答案，分布极度集中，投票结果迅速固化。

值得注意的是，在0.45的选择准确率中，部分正确投票源于AI答对率不足50%的难题。这是因为错误答案分散，而正确答案成为出现频率最高的单一答案（即众数）。这表明，众数上限的边界比简单的“多数投票>50%”更为复杂。

三、第二道壁垒：重复采样不等于信息增量

除了投票固化，研究团队发现了另一个独立的上限，涉及准确率估计的统计有效性。

直觉上，对同一题进行一万次采样比一次采样更精确。但研究指出，这一假设在统计上是错误的。因为同一模型对同一题的多次作答并非独立事件，它们之间存在高度相关性。

这类似于调查家庭成员的政治观点：若成员间相互影响，询问10人并不等于获得10个独立意见。这种相关性由组内相关系数（Intraclass Correlation, $\rho$）衡量。$\rho$越大，作答越雷同，独立信息量越少。

研究借用调查统计学中的设计效应（Design Effect），将$n$次相关作答等效为有效样本数（$n_{eff}$）：

$$ n_{eff} = \frac{n}{1 + (n-1)rho} $$

当$n \to \infty$时，极限值为 $1/\rho$。这就是相关性上限（Correlation Ceiling）：无论采样多少次，有效信息量永不超 $1/\rho$。

数值示例：
若 $\rho = 0.1$，则相关性上限为10。这意味着10,000次采样的统计精度仅相当于约10次独立作答，最后一次采样带来的信息增益微乎其微。

实证数据验证：
基于Brown等人发布的大规模数据集（GSM8K与MATH），使用Llama-3系列模型（每题10,000次采样）。结果显示，题目难度差异导致的 $\rho$ 约为0.4至0.6。换算后，10,000次采样的有效样本数仅约2。换言之，巨额算力投入仅换取了约两次独立作答的统计精度。

研究强调，众数上限约束的是“答案选择”，相关性上限约束的是“准确率估计”，两者目标不同，需分别考量。

四、难度分布与覆盖率收敛：幂律 vs 指数

前文讨论的“墙”针对选择与评估，那么覆盖率本身是否有上限？

理论上，只要题目非绝对不可解，覆盖率随采样次数增加趋近于1。但收敛速度受题目难度分布影响极大：
* 均匀难度：覆盖率呈指数级上升，快速逼近100%。
* 长尾难度（现实情况）：存在大量极难题目，覆盖率上升转为幂律型（Power Law）。即采样量增加十倍，覆盖率仅小幅提升，而非按比例压缩剩余未覆盖空间。

研究团队利用贝塔分布（Beta Distribution）建模，推导覆盖率收敛速度为 $n^{-alpha}$，其中 $\alpha$ 取决于难度分布形态。这与Brown等人的实验数据吻合：在1至10,000次采样范围内，对数坐标下覆盖率呈近似线性缓慢上升，符合幂律特征。

此外，若题目超出模型能力范围（可达率为0），覆盖率将存在硬性天花板，采样策略无法突破模型能力极限。

五、相关性根源：题目难度而非模型随机性

为何随机生成的作答会呈现相关性？

研究团队引入德芬内蒂定理（de Finetti's Theorem）框架：将AI对每道题的“擅长程度”视为隐藏变量 $\theta$。每次作答相当于以概率 $\theta$ 抛硬币。不同题目 $\theta$ 不同（如0.9或0.05）。

在此框架下，组内相关系数 $\rho$ 主要反映题目难度的异质性，而非作答间的相互干扰。$\rho$ 越大，说明题目间难度差异越大，导致同一题目的多次作答命运被绑定。

实验验证：
利用Beeching等人的五轮独立实验数据，研究发现不同轮次间题目的 $\theta$ 几乎不变（轮次间 $\rho_w \approx 0.0007$），而题目间难度差异显著（题目间 $\rho_b \approx 0.4$）。这证实了相关性主要源于题目本身的难度分布，而非模型内部的随机波动。

六、三种目标与最佳停止策略

研究团队整合上述发现，提出针对不同目标的资源分配策略：

1. 评估平均准确率（最快触顶）：
2. 策略：由于 $\rho \approx 0.4-0.6$，每题仅需约2次采样（$1/\rho_b$）即可获取绝大部分统计信息。

3. 建议：将算力分散至更多不同题目，而非对单题重复采样。

4. 挑选最终答案（中等速度触顶）：

5. 策略：投票收敛速度取决于答案分布集中度。若答案种类少，十余次采样即可稳定。

6. 建议：增加采样次数无效。应通过提高随机性（Temperature）、多样化提示或混合模型来分散答案分布，提升正确答案成为众数的概率。

7. 寻找至少一个正确答案（无上限）：

8. 策略：若有外部验证器（如代码测试器、数学证明器），每次额外采样都可能提供新正确答案。
9. 建议：覆盖率持续上升，算力投入有效。

研究团队提供了从日志中估算 $\rho$ 和 $n_{eff}$ 的公式，帮助开发者判断采样预算的有效性，避免资源浪费。

七、如何量化“墙”的高度？

研究团队提供了实用的估算方法，使开发者能从现有数据中解读上限：

1. 估算 $\rho$：
   基于M道题，每题$n_i$次采样，答对$c_i$次。计算题目间方差与题目内方差之比。前者越大、后者越小，$\rho$越高。具体算法见论文附录方差分析推导。

2. 计算有效样本数：
   $$ n_{eff} = \frac{n}{1 + (n-1)rho} $$
   上限为 $1/\rho$。

3. 报告规范：
   建议在发布基于重复采样的AI评测结果时，除名义样本数$n$外，必须附带有效样本数$n_{eff}$及相关性上限$1/\rho$，以真实反映评测可靠性。

结语：算力不是万能药

本研究传递了一个清醒的信号：计算资源并非无限增值，多花不一定多得。

覆盖率的提升令人鼓舞，但它仅描述AI“能生成什么”，而非“能交付什么”。决定AI系统实际表现的关键，在于其识别并输出正确答案的能力，而这种能力不会随采样次数自动提升。

下次当AI系统宣称“经N次采样后准确率达X%”时，请追问：
* 有效样本数是多少？
* 投票结果在第几次已固化？
* 算力是否花在了刀刃上？

本研究为你提供了审视这些问题的科学工具。

Q&A

Q1：AI重复作答的“覆盖率”和“选择准确率”有什么区别？

A：
* 覆盖率：指所有作答中至少有一次答对的比例。它随采样次数增加而持续上升，反映AI“生成正确答案”的能力。
* 选择准确率：指最终投票选出的答案是否正确。它受制于“众数上限”，即投票结果会收敛至出现频率最高的答案。若该答案为错，继续采样只会强化错误。
* 差距：两者之差即为“可识别性缺口”，代表AI能生成正确答案但无法通过投票机制选出的区域。

Q2：组内相关系数ρ越大，意味着重复作答越没用吗？

A：
是的。$\rho$ 反映同一题目多次作答间的相似程度，主要源于题目难度差异。$\rho$ 越大，有效样本数上限 $1/\rho$ 越低。
* 例如：$\rho = 0.5$ 时，无论采样多少次，统计信息等价于最多2次独立作答。
* 实测表明，主流数学基准测试 $\rho \approx 0.4-0.6$，意味着10,000次采样的实际信息量仅约等于2次独立作答。

Q3：想提高AI投票选答案的准确率，应该怎么做？

A：
增加采样次数无法提升投票准确率，因为结果会收敛至固定众数。有效策略包括：
1. 提高随机性：调高生成参数（如Temperature），使答案分布更分散。
2. 多样化提示：使用不同提示词引导模型。
3. 模型集成：混合使用多个不同模型，减少单一模型的偏差。
这些方法旨在降低错误答案的集中度，提高正确答案成为众数的概率。

相关文章