新加坡国立大学等机构联合攻克AI知识蒸馏核心难题

发布时间：2026-07-18 02:23:38 来源：安智兰德资讯网 作者：百科

这项由新加坡国立大学、新加学香港中文大学多媒体实验室、坡国北京大学以及京东探索研究院联合开展的立大联合研究，于2026年6月29日以预印本形式发布，机构论文编号为arXiv:2606.30626，攻克有兴趣深入了解的知识蒸馏读者可通过该编号查询完整论文。

每当我们谈到人工智能，核心脑海中总会出现一个画面：一台巨大的难题超级计算机，运行着规模庞大、新加学能力超群的坡国AI模型。然而现实世界并不总是立大联合如此宽裕——手机、平板、机构边缘设备，攻克这些才是知识蒸馏AI真正需要落地的地方。于是核心，一项关键技术应运而生：让"大模型老师"把自己的本领传授给"小模型学生"。这个过程，研究者们称之为知识蒸馏，就像把一瓶浓缩精华稀释到一个更小的瓶子里，让学生喝下去也能获得老师的精华。

然而，这项看似直观的技术，却长期面临一个令人头疼的困境。当研究者们试图给老师配备"小抄"——也就是额外的辅助信息——来提升教学质量时，反而发现学生的学习效果没有预期中那么好，甚至有时还会更差。这究竟是为什么？新加坡国立大学等机构的研究团队经过深入调查，发现了问题的根源，并提出了一套全新的解决方案，命名为DOPD（双重在线策略蒸馏）。

一、为什么给老师配"小抄"反而会害了学生

要理解这个问题，先来看看目前最主流的AI知识传授方式是怎么运作的。研究者们把这种方式叫做"在线策略蒸馏"，核心思路非常简单：不让学生去背老师写好的参考书（那样学生总是在学别人的思路，自己一旦遇到新题就不知所措），而是让学生自己先尝试解题，然后由老师在学生自己写下的每一个字上给出实时点评。这种方式因为针对学生自己的思路给出反馈，效果比传统方式好很多。

一个自然的改进想法是：如果给老师配备"小抄"，比如在数学题旁边附上解题思路提示，让老师能做得更好，那么老师给出的反馈岂不是更有价值？研究团队发现，这个想法在理论上成立，但在实践中却暗藏陷阱。

他们把这个陷阱命名为"特权幻觉"。故事是这样的：假设你和你的同学都在参加一场闭卷考试，你的成绩是70分，同学是50分，差距是20分。这20分的差距可能来自两种原因——一是你比同学更聪明、更努力；二是有人偷偷告诉了你几道题的答案，而你同学没得到这个信息。如果第二种原因占了大头，那么这20分的差距就不是"能力差距"，而是"信息不对称"造成的。

同样的逻辑放到AI知识蒸馏中：当老师模型拿着小抄（额外的提示信息）比学生表现好很多时，这个优势究竟有多少是来自真正的能力领先，又有多少是因为老师多看了一份学生根本没有的材料？如果硬让学生去模仿一个靠着小抄才答得好的老师，学生就会试图"背答案"而不是"学方法"——结果就是学生表面上学会了如何在有小抄时作答，一旦小抄消失，什么都不会。

研究团队通过实验直观地展示了这一点。他们测试了四种不同的情况：正常老师教正常学生、带小抄的老师教正常学生、正常老师教带小抄的学生，以及两者都带小抄。结果发现，只给其中一方配备小抄，早期训练成绩虽然略有提升，但随着训练推进，模型的"熵"（可以理解为思维活跃度和探索欲）会急剧崩溃，最终成绩反而比什么都不加还要差。而两者都带小抄时，虽然消除了信息不对称，但如果对所有内容都用同样的力度来教学，学生也只是被动适应小抄，最终成绩提升依然极为有限，甚至不如最基础的方法。

这个发现既有趣又让人有些沮丧——原来盲目给老师发小抄不仅没有好处，还可能给整个教学过程埋下隐患。

二、真正的差距和"小抄差距"究竟该如何区分

既然问题出在无法区分"能力差距"和"信息差距"，那么有没有办法把二者分开来呢？研究团队提出了一个巧妙的衡量标准，他们叫它"特权优势差距"。

操作方式是这样的：给老师和学生同时配上相同的小抄，然后让他们各自预测同一个词的概率。这时候，两者的信息条件完全相同，不存在任何信息不对称。在这种公平竞争的条件下，如果老师的预测概率还是远远高于学生，说明这道题涉及的内容是真真正正的"能力差距"——老师就是比学生强，这类知识值得好好学习。反过来，如果两者概率差不多，说明在公平条件下大家旗鼓相当，之前老师显得更厉害主要是因为信息优势，而不是能力本身。

研究团队用一个类比来验证这个判断是否靠谱：他们人为地删除AI在生成文字时那些"特权优势差距"最大的20%的词，然后观察学习效果是否大幅下降。结果非常明显——去掉这20%的高差距词之后，模型在100步训练时只能达到正常情况下约50%的学习效果。而删除那些差距最小的20%词，或者随机删除20%的词，对学习效果几乎没有影响。

这个实验证明，高差距词确实是知识传递中最关键的"养分"，而低差距词更多是些无关紧要的填充。更有意思的是，即便删掉了那20%的高差距词，模型还是能比完全不学习提升3到4分——这说明其他词虽然不是主角，也并非毫无意义。

正是基于这套"用公平条件下的差距来判断真实能力差距"的思路，研究团队设计出了DOPD的核心机制。

三、四种角色扮演：聪明地决定每个词该由谁来教

DOPD的核心创意在于：不是让老师或学生一统江湖地负责所有词的教学，而是根据每个词的具体情况，动态分配最适合的教学方式。研究团队按照"特权优势差距"的高低，以及老师和学生各自的预测概率高低，把所有词分成四种类型，分别采取四种不同的对策。

第一种情况：差距不大，且老师和学生预测概率都比较高。
这意味着面对这个词，两个配了小抄的模型都很有把握，而且两者之间没有明显的能力差距。这类词的情况就像一道大家都会的简单题——正确答案几乎人尽皆知，真正的门槛不是能力，而是知不知道题目提示。对于这类词，研究团队选择进行"轻量级老师蒸馏"，让学生稍微借鉴一下老师的概率分布，吸收有用的小抄知识，但不要过分追着老师学，以免学到太多"依赖小抄"的坏习惯。

第二种情况：差距不大，但老师和学生的预测概率都比较低。
两个模型面对这个词都不太确定，说明这里可能是个难点或者边界地带，双方都在"猜"。如果这时候强迫学生去模仿老师那也半猜半蒙的答案，反而可能引入噪声。研究团队的策略是"微弱的自我正则化"——让学生轻轻地向自己带小抄的版本靠拢一点，不是在学知识，更多是在维持稳定性，避免训练过程产生剧烈波动。而且这种靠拢会故意切断梯度，让"有小抄的自己"只是一个参考锚点，而不是主动的知识来源，防止学生陷入"依赖幻觉信号"的循环。

第三种情况：差距很大，且老师的预测概率远高于学生。
这是最宝贵的学习机会——老师在公平条件下（双方都有小抄）仍然比学生强很多，说明这个词涉及的是真正的能力差距，老师有学生亟需学习的真本领。对于这类词，研究团队采用最强的"深度全词汇老师蒸馏"，不仅让学生学习老师最看好的那几个候选词，而是对整个词汇表的概率分布都进行对齐学习，信息密度最高，收益也最大。所用的数学工具是JS散度，它既不像"正向KL散度"那样要求学生把老师每一个角落都覆盖到（容易过于分散），也不像"反向KL散度"那样只盯着老师最确定的答案（容易过于极端），而是找到一个平衡，既覆盖老师的主流选择，又保留一些次优选项的信息。

第四种情况：差距很大，但这次是学生的预测概率高于老师。
奇怪的现象——学生带着小抄比老师还有把握？这往往意味着这个词是学生目前探索出的一条"自信路径"，而老师在这里反而不那么确定。强行让学生去模仿一个比自己还不确定的老师，显然是本末倒置。研究团队的策略是"轻量级学生自蒸馏"——让学生轻轻向自己有小抄的版本靠拢，保持探索的动力，不过分压制这种自主发现的路径。

把这四种策略综合起来，DOPD就像一位经验丰富的班主任：它既知道哪些知识点非要老师亲自传授不可，哪些地方学生自己探索更有收获，哪些地方老师也说不清楚不必强迫学生跟着学，也知道什么时候给学生轻轻一个"别偏题"的提示就够了。每个词都得到了最合适的待遇，没有一刀切的暴力灌输，也没有放任自流。

四、实验中的惊喜：小模型竟然在某些题目上超越了大模型

研究团队在多个大型基准测试上验证了DOPD的效果，覆盖了纯文字的大语言模型场景和图文结合的视觉语言模型场景。

在纯文字场景下，实验以Qwen3-8B（80亿参数的大模型）为老师，Qwen3-1.7B（17亿参数的小模型）为学生。两者之间原本存在13.7分的平均性能差距，横跨通用能力、推理能力和代码编写能力等八个测试集。经过DOPD训练后，学生模型达到了51.4分的平均成绩，不仅比最基础方法（Vanilla OPD，43.9分）提升了7.5分，更填补了原本差距的89.8%——也就是说，经过训练，小模型几乎追平了大模型的水平。更令人意外的是，在数学推理（AIME25）和代码（LCBv5）等挑战性较高的任务上，小模型甚至超过了老师的分数，突破了原本的理论上限。

这一点尤其值得关注。传统的蒸馏方法有一个公认的天花板：学生无论如何都不可能超过老师，因为老师的输出就是学生的目标。DOPD通过引入小抄机制，让老师的"潜力"得到了更充分的释放，从而帮助学生获得了老师在普通条件下都无法达到的水准。

在视觉语言模型场景下，同样以大模型Qwen3-VL-8B为老师，Qwen3-VL-2B为学生。原本差距14.6分，经过DOPD训练后，学生提升了10.1分，填补了差距的69.2%，同样大幅领先于所有竞争方法。

除了直接的分数比较，研究团队还测试了另外四个维度。其一是规模扩展性——他们用不同大小的老师和学生进行了五对组合实验。结论是，当老师比学生大得越多（比如参数量相差13倍的8B到0.6B），普通蒸馏方法的效果反而越来越差，增益只有3.5分；而DOPD不受这个限制的拖累，反而在这种大差距场景下保持稳健，增益高达14.1分，差距弥合率达到53%。

其二是持续学习能力。研究团队设计了一个三阶段实验，先用通用数据训练，再切换到推理数据，最后切换到代码数据，观察模型是否会"以新忘旧"。结果表明，DOPD能够让模型每换一个新领域都有实质提升，同时对之前学过的内容只有极微小的遗忘，表现出真正意义上的持续学习能力，而不是简单地用新知识覆盖旧知识。

其三是跨领域泛化。研究团队只用推理数据训练模型，然后测试它在代码任务上的表现，反之亦然。DOPD在这两个方向上都比最强竞争方法高出3到4分，说明它学到的是更本质的能力，而不是对某类任务的过拟合。

其四是训练稳定性。研究团队绘制了整个训练过程中的性能曲线和熵变化曲线。DOPD从训练第80步开始就已经超越了其他方法在第200步的最终成绩，收敛更快，表现更平稳。熵的变化也很健康：先小幅上升（模型在探索），再逐步下降（模型在收敛），最终稳定。相比之下，依赖自我蒸馏的方法会在第95步前后出现熵的突然崩塌，对应着模型陷入一种过于单调、丧失探索能力的状态。

五、每种小抄的内容都很关键——给得好才是真的好

在整个研究体系中，有一个容易被忽视但极为重要的细节：小抄的形式直接决定了效果的好坏。

研究团队对五种不同的小抄形式进行了比较。最直接的一种是直接给出正确答案，结果反而是最差的——59.5分，甚至低于完全不提供任何小抄的63分基线。原因是模型直接盯着答案去学，完全跳过了中间的思考过程，只学到了"背答案"这一个坏习惯。加入了详细执行步骤的分步提示勉强提升到63.1分，但依然有限，因为过于详细的步骤又让模型过度依赖信息本身。效果最好的是"只给步骤框架、不给执行细节和最终答案"的分步提示，达到了71.3分，比基线高了8分多。用一句话概括最简短的摘要式提示效果也不错（65.8分），但略逊于步骤框架式。

在视觉语言模型场景下，类似的规律同样成立。直接给答案最差，仅提供图像描述文字效果有限，而给出与问题相关的目标物体位置框（包含物体名称和坐标）效果最好，比基线高出4到7分。

这个发现传递了一个核心信息：小抄的价值不在于告诉模型"答案是什么"，而在于帮助模型理解"该怎么思考"。一旦小抄越过了这条线，开始直接提供答案，它就不再是学习的引导，而变成了作弊的工具。

说到底，DOPD解决的不是一个单纯的工程优化问题，而是揭示了AI知识传授中一个更本质的困境：盲目地给AI模型配备更多信息，并不等于给了它更多的学习机会。信息本身是双刃剑——用对了是催化剂，用错了是绊脚石。通过设计一套能精准识别"有效能力信号"和"信息幻觉"的路由机制，研究团队让AI学生第一次能够在接受老师指导的同时，真正区分哪些内容值得用心学，哪些内容只是老师借助外力才能给出的参考，不必生搬硬套。

对于普通人而言，这项研究最直接的影响是：未来手机、平板、汽车车机中运行的小型AI助手，可能会比现在更聪明、更靠谱，甚至在某些推理和编程任务上达到目前只有最顶级AI才能完成的水平——而这一切无需消耗更多算力，只需要一套更聪明的教学方式。归根结底，好的老师不只是知识量更大，而是知道什么时候该倾囊相授、什么时候该让学生自己想一想。这个道理对人如此，对AI同样适用。有兴趣深入了解技术细节的读者，可以通过arXiv:2606.30626查阅完整论文。

Q&A

Q1：什么是"特权幻觉"，为什么它会导致AI知识蒸馏失败？

A：特权幻觉指的是当AI老师模型配备了额外辅助信息（如解题提示）后，它比学生模型表现更好的原因并非真正的能力领先，而是信息不对称造成的假象。如果学生去模仿这种依赖额外信息才能做到的表现，就只会学到"背答案"的坏习惯，而非真正的解题能力。一旦测试时没有这些辅助信息，学生的表现反而可能比完全不学习还要差。

Q2：DOPD和普通知识蒸馏方法相比，具体提升了多少效果？

A：在纯文字大语言模型实验中，以Qwen3-8B为老师、Qwen3-1.7B为学生，DOPD平均得分51.4分，比最基础方法高出7.5分，填补了原本师生差距的89.8%，甚至在数学推理和代码任务上让小模型超过了大模型。在图文模型实验中，同样大幅领先所有竞争方法，填补差距69.2%，跨五个不同规模的师生组合都保持稳定提升。

Q3：给AI老师提供小抄时，什么样的小抄格式效果最好？

A：研究发现，直接提供正确答案的小抄效果最差，甚至比不提供任何小抄还糟糕。效果最好的是只给出解题步骤框架、不包含具体执行过程和最终答案的提示形式。对于图文任务，提供与问题相关的目标物体位置标注（包含物体名称和坐标范围）效果最佳。核心原则是：小抄应引导模型"如何思考"，而非直接告诉它"答案是什么"。

相关文章