天津大学与阿里巴巴联手破解AI训练中的"镜中幻象"

发布时间：2026-07-18 02:53:24 来源：安智兰德资讯网 作者：探索

这项由天津大学与阿里巴巴联合开展的天津研究以预印本形式发布于2026年6月，论文编号为arXiv:2606.29526，大学有兴趣深入了解的阿里读者可通过该编号查阅完整论文。

每隔一段时间，巴巴AI领域就会冒出一种让人眼前一亮的联手进展——模型能推理了，能解数学题了，破解能写代码了。训练背后驱动这些能力的镜中，有很大一部分功劳要归于一种叫做"强化学习"的幻象训练方式。简单来说，天津强化学习就像是大学用"对了给糖、错了不给"的阿里方式，一遍遍地训练AI，巴巴让它越来越擅长给出正确答案。联手

然而，破解这套看起来很美妙的训练机制，在大语言模型（也就是我们常说的GPT、DeepSeek这类AI）的实际训练中，却藏着一个长期被忽视的致命隐患。天津大学与阿里巴巴的研究团队发现：你以为训练让AI变得更聪明了，但实际上，你每天真正使用的那个AI版本，可能根本没有得到改善，甚至可能变得更差。

这个发现听起来有些荒诞，却是货真价实的工程现实。研究团队为这个问题起了一个专业名字——"目标错位"，并提出了一套名为MIPU（单调推理策略更新）的解决方案。经过实验验证，这套方案不仅提升了AI的推理成绩，还显著稳定了原本脆弱的训练过程。

一、两台机器，两个"大脑"——训练世界里的分裂人格

要理解这个问题，先从大语言模型的"生产线"说起。

训练一个大语言模型，就像同时经营一家工厂和一家门店。门店负责展示产品、接待顾客（对应"推理引擎"，比如vLLM、SGLang）；工厂则负责改进产品、调整工艺（对应"训练引擎"，比如Megatron、FSDP）。门店展示的是最终消费者使用的产品，工厂里折腾的是正在改良中的版本。

在理想世界里，工厂改进了产品后，立刻同步给门店，两边用的是同一套东西，天下太平。但在大语言模型的实际工程中，这两套系统的底层实现方式存在微妙的差异——数值精度不同、计算方式不同、后端架构不同。这就导致哪怕你把工厂最新版本的模型参数同步给了门店，门店展示出来的行为，仍然和工厂里测试的结果有细微的差别。

研究团队把这两个"分身"分别命名为"训练策略π"（工厂里的那个）和"推理策略μ"（门店里的那个）。它们共享同一套模型参数，但由于底层实现的差异，对同一段文字给出的概率评估却并不完全相同。这种差异，就是所谓的"训练-推理不匹配"。

这个问题早就有人知道了，也有人想过各种补救办法——比如在计算时修正一下比例、过滤掉误差太大的样本、降低学习率让更新步子小一点，等等。这些方法都在努力让工厂和门店之间的差距尽量小。

但研究团队发现，所有这些方法都在回答同一个问题："怎么让工厂里的产品改进得更稳定？"而他们真正想问的问题是："改进之后，门店里展示的产品真的变好了吗？"

这两个问题看起来相似，实则天差地别。

二、工厂改良了，门店的产品却变差了——"目标错位"的本质

研究团队用一个清晰的数学不等式道破了问题所在：工厂里的AI变好了（训练策略π的表现提升），并不能保证门店里用户实际使用的AI也变好了（推理策略μ的表现提升）。

换句话说，J(π_k+1) - J(π_k) ≥ 0，并不意味着 J(μ_k+1) - J(μ_k) ≥ 0。

这里J代表的是"AI在给定任务上能答对多少题"，下标k和k+1代表训练的前后两步。公式的意思是：即便工厂在这一轮训练中确实进步了（前者大于等于零），门店里的那个版本却未必同步进步，甚至可能退步。

为什么会这样？以目前最流行的强化学习算法GRPO为例，它在训练时做了一件很自然的事：让门店（推理引擎）生成一批答案，然后评估这些答案的好坏，再用这个评估结果来调整工厂（训练引擎）里的模型。

问题在于，整个优化过程盯着的是工厂里的进步，而不是门店里的进步。当工厂改良完成、参数同步到门店时，由于两套系统的底层差异，门店的实际表现可能和工厂的预期截然不同。这就像一个厨师在自家厨房（工厂）里调整好了配方，觉得菜肯定更好吃了，但送到餐厅（门店）的厨房后，因为灶台火力、锅具材质的差异，做出来的菜却不如从前——厨师浑然不知，还以为自己改进成功了。

更微妙的是，GRPO在估算"这道菜好不好"时，用的是门店厨房里做出来的那批菜的评分，而不是自家厨房的标准。当门店和工厂本来就存在差异时，这个评分本身就带有偏差，等于是用一把不准的尺子在量菜。

三、拆解"门店是否真的进步了"——MIPI原则的诞生

研究团队基于这个认识，提出了一个新的目标：强化学习的优化方向，应该是让"门店里的AI"单调地变得更好，而不是让"工厂里的AI"变得更好。他们把这个原则称为MIPI——单调推理策略改进原则。

为了让这个原则可操作，他们把"门店AI在这一轮到底进步了多少"这件事，拆成了三块来看待。

1. 同步落差：同步之后，门店和工厂之间的差距——即新版本参数同步到门店之后，门店的实际表现和工厂预期的表现之间的落差。这个差距代表"这次改良到底有没有被门店如实呈现出来"。
2. 工厂进步：工厂自身的训练进步——也就是这一轮训练让工厂里的模型变好了多少。这是传统强化学习一直在优化的那个量。
3. 初始差距：同步之前，工厂和门店之间原有的差距——即在这轮训练开始之前，工厂和门店本就存在多大的差距。

把这三块加在一起，就是门店AI在这一轮真正进步（或退步）的全貌。传统方法只盯着第二块，MIPI要求把三块全部纳入考虑。

四、两步走的解决方案——MIPU的具体做法

基于MIPI原则，研究团队设计了一套两步走的实施框架，称为MIPU。

第一步：以采样方为参照的策略更新

这一步主要针对的是上述三块中的后两块合在一起的部分——"工厂相对于门店，到底进步了多少"。

核心调整是改变训练时计算"更新幅度"的参照系。传统GRPO在计算这个幅度时，用的是工厂旧版本和工厂新版本之间的比值；而MIPU第一步改成用门店版本和工厂新版本之间的比值，也就是让门店成为衡量进步的基准。

同时，为了避免因为门店和工厂之间本就存在的差距带来过大的计算误差，研究团队引入了一个截断机制——当门店和工厂的差距过大时，把这个差距压缩到一个上限以内，防止它主导整个训练方向。这套机制被称为TIS（截断重要性采样）。

相比之下，论文中还讨论了两种近似方案：
* PPO-IS：直接把整个比值（包括门店工厂差距和当前更新幅度）放在一起做截断，结果是截断机制经常在模型还没怎么更新时就介入，把正常的学习信号给压制掉了。
* Vanilla-IS：把差距和更新幅度拆开处理，但对门店工厂的差距不做任何限制，一旦某个词在门店里出现概率极低，这个差距会变得极大，导致训练极不稳定。

TIS综合了两者的优点，保留了拆开处理的结构，同时对门店工厂差距做了上限截断，是三者中最稳定的选择。

第二步：感知推理侧差距的更新接受机制

这一步针对的是三块中的第一块——"同步之后门店和工厂的差距"。

逻辑是：工厂完成了一轮训练、生成了候选的新版本、并同步到了门店之后，先不要急着接受这个版本作为"真正的新门店"。而是额外采集一批门店的测试样本，估算一个叫做"同步后推理侧差距代理指标"的量（研究中用T_post表示）。如果这个指标低于某个阈值，就说明这次同步很可能是有问题的——门店并没有如实呈现工厂的改进——那就把这次更新整个回滚，恢复到上一个版本。

这个代理指标本质上衡量的是：相比于刚刚同步的新版工厂，新版门店在好答案上给的概率是高还是低？如果门店给好答案的概率反而比工厂低，说明这次同步出现了"翻译失真"，更新应当被拒绝。

值得一提的是，研究团队在计算这个指标时，专门设计了一种"长度归一化的序列比值"来做重要性修正。全序列的重要性采样比值在实践中方差极大（想象两段概率都极小的文本相比，比值会是个天文数字），长度归一化之后，这个比值稳定多了，代理指标的可靠性也因此大幅提升。

五、容忍度的艺术——不能太严，也不能太松

第二步有一个关键参数c，称为"接受容忍度"。当T_post ≥ -c时接受更新，否则回滚。

• c越大：代表你越容忍门店表现不如工厂，也就越不容易触发回滚。
• c越小（甚至为负数）：代表你要求门店必须比工厂表现更好才接受，门槛更高。

研究团队发现，把c设得太严格（比如用负数要求正增益）并不是好事。原因在于：在FP8量化推理（后文会解释这个概念）的早期阶段，T_post天然处于较低水平，如果此时门槛太高，大量有益的更新都会被拒绝，模型学不到东西，最终停滞在一个较低的性能平台上。

正因如此，研究团队为MIPU设计了一个动态容忍度：训练开始的前100步使用较宽松的容忍度，让模型能顺利完成早期的有效学习；此后逐步收紧，过渡到更严格的标准，保护后期训练不被质量低劣的更新所累积破坏。

六、FP8量化——制造高不匹配环境的那颗"放大镜"

研究团队在实验中选择了一个叫做"FP8量化推理"的设置来测试MIPU。这需要稍作解释。

现代AI芯片在做计算时，需要确定用多少位数字来表示一个数。位数越多，精度越高，但计算也越慢、越耗内存。FP16（16位浮点数）是目前常见的训练精度；FP8（8位浮点数）则是把精度砍半，换取更快的推理速度。

问题在于，FP8的精度更低，同样的模型参数，用FP8推理出来的结果和用更高精度训练出来的结果之间，差距会比平时更大。换句话说，FP8量化推理会人为放大训练引擎和推理引擎之间的"不匹配程度"，制造出一个高压测试环境。

这是研究团队刻意为之的选择：在最容易暴露问题的环境下测试MIPU，才能最清晰地看出它究竟能不能解决问题。

七、实验结果——数字背后的故事

研究团队在两个不同规模的模型（阿里巴巴的Qwen3-1.7B和Qwen3-4B，即参数量分别约为17亿和40亿的版本）上进行了实验，并与三种基准方法进行比较：标准GRPO基线、MIS（通过过滤极端不匹配样本来稳定训练）、以及LR-decay（通过周期性降低学习率来减缓不匹配的影响）。

测试覆盖了五个数学推理基准：MATH500（覆盖高中及竞赛数学的大型测试集）、AIME24（美国数学邀请赛2024年题目）、AMC23（美国数学竞赛2023年题目）、Minerva（谷歌提出的定量推理评测）、以及OlympiadBench（奥林匹克数学竞赛双语题库）。

性能提升

• Qwen3-4B：MIPU的平均得分为66.71%，明显高于标准GRPO的64.42%、MIS的63.42%，以及LR-decay的65.66%。具体来看，AMC23上MIPU达到85.00%，Minerva上达到45.96%，在各基准中名列前茅。
• Qwen3-1.7B：MIPU的平均得分为53.97%，同样领先于其他方法（基线50.86%、MIS 51.73%、LR-decay 52.23%）。MATH500上，MIPU达到86.52%，OlympiadBench上达到59.52%。

稳定性优势

但更令人印象深刻的不是峰值成绩，而是训练稳定性。标准GRPO、MIS和LR-decay这三种方法，在训练中途都出现了不同程度的"崩溃"或"急剧下滑"——性能曲线先攀升，然后突然坠落。MIPU的训练曲线则在达到较高水平后保持稳定，直到训练结束都没有出现明显的退步迹象。这一点在训练曲线可视化图中非常清晰。

指标验证

研究团队还通过一个叫做"Mismatch-K3"的指标来量化训练引擎和推理引擎之间的实际差距大小。这个指标本质上是在计算两个概率分布之间的"偏差程度"，数值越大说明两台机器给出的答案越不一样。实验中可以看到，Qwen3-1.7B的不匹配程度明显高于Qwen3-4B，与之对应的T_post的波动幅度也更大——这说明这个代理指标确实在捕捉真实的不匹配信号，而不是随机噪声。

八、消融实验——把两步一步步拆开看

为了证明两步各有贡献、缺一不可，研究团队做了消融实验，逐一测试"只用第一步"、"只用第二步"、以及"两步都用"的效果。

1. 只用第一步：模型通过更准确的参照系获得了更好的训练信号，平均得分相比基线有所提升（从64.42%升至65.36%），但训练过程仍然存在不稳定风险，因为没有任何机制去过滤"被门店误解"的更新。
2. 只用第二步：模型在某种程度上避免了崩溃，但无法提升训练质量——因为第二步依赖的候选更新仍然是有偏差的，好的候选本来就很少，第二步只是在拒绝更新，真正有益的候选并没有增多。结果平均得分反而低于基线（62.81%），说明单纯的"保守拒绝"在没有质量改善的前提下，并不比什么都不做更好。
3. 两步结合：达到了最好的效果，充分印证了二者的互补关系：第一步产生质量更高的候选，第二步筛掉那些"翻译失真"的候选。

为了进一步排除"第二步起作用只是因为它拒绝了更多更新"这一可能的解释，研究团队还设计了一个"随机回滚"对照组：以同样甚至更高的概率（67%对比第二步的53.5%）随机拒绝更新，但不根据任何推理侧信号做判断。实验结果显示，随机回滚拒绝了更多次更新，却仍然出现了崩溃；而第二步依靠T_post信号有选择地接受或拒绝，则维持了稳定的训练曲线。这说明第二步的价值不在于"减少更新次数"，而在于"用对了信号"。

结语

说到底，这项研究的核心洞察是一句听起来朴素却影响深远的话：你训练的对象，不是你最终使用的对象。

大量现有的AI强化学习方法，都在努力让"工厂里的那个AI"变得更好，却忘记了用户每天打交道的是"门店里的那个AI"。两者之间因为底层系统的差异，可能存在微妙但关键的落差。当这种落差被忽视时，训练过程看起来在进步，实际部署效果却可能在悄悄退步，直到某一刻爆发成肉眼可见的"崩溃"。

MIPU提供的解法并非复杂到无从理解——它本质上是在说：每次做完改良之后，去门店实际量一量，确认门店的产品真的变好了，再把这次改良记入档案；如果量了发现门店没变好，那这次改良就当没发生。这个思路在工业领域其实是常识，但在大语言模型的强化学习中，却是真正意义上的首次被系统化地提出并验证。

当然，论文本身也坦承了局限：受制于计算资源，实验只覆盖了中小规模模型；动态容忍度参数的设定依赖一些先验经验，在不同系统和规模下是否能直接迁移，仍有待验证。此外，第二步目前采用的是验证集采样来估算推理侧差距，未来或许可以开发出计算代价更低、估算更精确的方式。

这项研究给我们留下了一个值得思考的问题：在AI的世界里，还有多少"优化"其实只是优化了测量仪器本身，而非被测量的对象？有兴趣深入探究的读者，可通过arXiv编号2606.29526查阅完整论文。

Q&A

Q1：训练-推理不匹配问题在大语言模型强化学习中为什么不可避免？

A：大语言模型的强化学习需要同时运行两套系统——一套用于生成文本的推理引擎，一套用于计算梯度和更新参数的训练引擎。这两套系统出于效率和精度的不同考量，在数值精度、后端实现等方面存在细节差异。即便两套系统使用完全相同的模型参数，对同一段文字计算出来的概率也会不一致。当使用FP8量化推理来加速生成时，这种差异会被进一步放大，训练出来的"工厂版本"和实际部署的"门店版本"之间就会出现系统性偏差。

Q2：MIPU第二步中的T_post指标具体是怎么计算出来的？

A：第二步在候选模型同步到推理引擎之后，用新的推理引擎采样一批验证样本，计算每个答案的组相对优势（类似于"这个答案比同批答案平均水平好多少"），再乘以一个重要性修正权重（用来补偿训练引擎和推理引擎之间的概率差异）。这个修正权重采用了长度归一化的序列比值，避免了全序列重要性采样容易产生的极端大数问题。最终T_post取这些乘积的负平均值——如果它显著小于负容忍度c，说明推理引擎并没有如实呈现训练引擎的改进，更新被拒绝。

Q3：MIPU与传统的MIS和LR-decay方法有什么本质区别？

A：MIS和LR-decay都在试图让训练过程本身更稳定，核心目标仍然是优化训练引擎里的模型表现，只是通过过滤样本或降低学习率来减少不匹配造成的干扰。MIPU则在目标层面做了根本性的转变——它不再以训练引擎的表现改善为最终标准，而是直接以推理引擎的表现改善为优化目标。换句话说，前两者是在改善"工厂的生产稳定性"，MIPU是在直接检验"门店的产品是否真的变好了"，并以此决定是否接受这次改良。

相关文章