中科院：AI大模型"更努力学习"反而更容易忘光，真相让人意外

发布时间：2026-07-17 17:17:17 来源：安智兰德资讯网 作者：探索

由香港创新科技及工业局人工智能与机器人研究所（HKISI-CAS）、中科真相中国科学院自动化研究所、院A意外中国科学院大学及南京理工大学联合完成的模型前沿研究，已于2026年7月2日在arXiv预印本平台发布（论文编号：arXiv:2607.01763v1）。更努该研究揭示了大语言模型（LLMs）在持续学习过程中面临的力学严峻挑战，为理解AI记忆机制提供了全新视角。习反

当“高强度模仿”遭遇“记忆清零”：AI训练的而更悖论

想象一下辅导孩子学习的场景：
* 模式A（结果导向）：孩子独立解题，家长仅对最终答案给予对错反馈。容易让人
* 模式B（过程导向）：家长提供满分答卷，忘光要求孩子逐字逐句、中科真相分步骤地完全临摹。院A意外

直觉上，模型模式B似乎能让孩子掌握更扎实的更努知识。然而，力学最新研究证实，习反这种“逐字临摹”式的训练反而会导致孩子在掌握新技能后，更彻底地遗忘旧知识，甚至在极端情况下导致认知崩溃，丧失学习能力。

这一现象正是当前AI大模型训练中的真实困境。研究团队深入分析了自蒸馏策略优化（SDPO）与传统的序列级强化学习（GRPO）在持续学习场景下的表现，推翻了“源自AI自身的数据必然保守且安全”的乐观假设。

一、 持续学习中的“灾难性遗忘”与认知误区

AI助手需具备跨领域能力（如数学、编程、科学问答等），这要求模型进行分阶段、跨领域的连续训练。然而，AI常面临灾难性遗忘（Catastrophic Forgetting）问题——即学习新技能时，旧技能被严重覆盖或遗忘。

近年来，强化学习（RL）因比监督微调（SFT）造成的遗忘更少而备受青睐。学界曾推测，若数据源自AI自身，其训练过程应具有天然的“保守性”。基于此逻辑，在线自蒸馏（Online Self-Distillation）方法应运而生。其核心逻辑是：利用AI生成的“教师回答”（包含更多信息和推理过程）对“学生回答”进行逐字指导，将稀疏的奖惩信号转化为密集的分布匹配信号，旨在提升学习效率。

但本研究团队质疑：仅凭数据源自AI自身，是否足以保证“学新不忘旧”？

二、 训练哲学对决：“最终评分” vs “逐字监督”

研究团队设计了系统性对比实验，核心差异如下：

1. GRPO（组相对策略优化）：“结果导向”。
2. 机制：AI生成答案后，仅根据最终结果的对错及相对优劣进行打分。

3. 特点：类似期末考试，信号稀疏，仅关注最终性能。

4. SDPO（自蒸馏策略优化）：“过程导向”。

5. 机制：AI在查看答案（教师信号）后生成回答，训练目标强制要求AI生成的每个词的概率分布逼近“教师回答”的分布。
6. 特点：信号极其密集，要求AI在每一个token层面都模仿教师。

实验涵盖数学推理、科学知识、工具使用、代码编写四大领域，测试模型包括阿里巴巴Qwen3系列及艾伦人工智能研究院OLMo-3系列。

三、 短期高效与长期崩溃：SDPO的“双刃剑”效应

实验结果呈现出显著的阶段性差异：

• 短期表现（期中考试）：SDPO优势明显。
• 在数学训练阶段，SDPO模型在AIME竞赛题上的正确率达56.42%，远超GRPO的44.67%。
• 在科学领域，SDPO以65.70%对56.39%领先。

• 结论：密集监督使AI在刚接触新任务时迅速提升。

• 长期表现（期末考试）：SDPO优势逆转，甚至出现退化。

• 数学能力：SDPO模型正确率从峰值56.42%暴跌至34.38%。
• 工具使用：能力从尚可跌至9.93%，几乎失效。
• 泛化能力：未专门训练的领域（如逻辑推理、知识问答）表现甚至低于基础模型。
• GRPO表现：虽然单次提升幅度较小，但所有领域成绩均稳步提升且未被后续训练冲垮。

关键发现：快速掌握当前任务与长期保留旧技能是相互冲突的目标。

四、 深度归因：密集监督的三大隐患

研究团队深入剖析了SDPO导致遗忘的内在机制：

1. 教师更新的“新鲜度-稳定性”两难：
2. 教师模型若更新过快（如α=5%），会随学生波动，导致训练不稳定（类似两面镜子相对产生的无限杂像）。
3. 若更新过慢，教师信号滞后，指导失效。

4. 折中方案：提出StableSDPO（周期性同步+区间冻结），虽缓解但未根除问题。

5. 思维链（CoT）蒸馏的副作用：

6. 在工具使用等格式固定的任务中，蒸馏推理过程有益。

7. 但在数学/科学任务中，推理过程包含大量自我修正、模糊步骤甚至错误推断。强制AI模仿这些“噪音”和“中间态”，反而导致回答冗长混乱，性能下降。

8. 干扰区（Interference Zone）效应：

9. 利用最大均值差异（MMD）分析发现，SDPO对任务的影响呈倒U形曲线。
10. 高度相似任务：性能提升（迁移学习）。
11. 完全无关任务：影响较小（参数未触及）。
12. 中间地带任务：表现最差。这些任务与训练领域有微弱关联，导致参数调整产生干扰，却无法直接受益。GPQA测试即为典型受害者。

五、 内部解剖：参数漂移与语义重构

通过奇异值分解（SVD）和文本嵌入分析，研究揭示了SDPO对模型内部的剧烈冲击：

• 参数形变：GRPO对权重的修改轻微（如铅笔描边），而SDPO（尤其是含CoT蒸馏）对核心主轴参数进行了大幅重写（如橡皮大力涂抹）。这种剧烈改写破坏了旧技能的参数结构。
• 语义漂移：SDPO导致AI回答在语义空间中的坐标移动更大且分布更分散，表明其从根本上重塑了思考方式。这对熟悉任务是优势，对陌生任务则是包袱。
• 崩溃案例：在快速更新教师版本（α=5%）的场景下，AI陷入“确认偏差循环”。例如，在切换至工具使用时，AI陷入无限重复输出数学格式标记\boxed的死循环。JS散度降至零，表明AI停止探索，被单一格式模式锁定。

六、 理论证明：在线数据≠无遗忘

研究提供了严谨的数学证明，解释了为何“在线数据”不能保证不遗忘：

• 理想策略：存在一种“成功匹配剃刀策略”，能在满足新任务要求的同时，最小化对原有参数的改动。
• GRPO的本质：近似于向该“最小改动策略”收敛，因此在“学新”与“保旧”间取得平衡。
• SDPO的缺陷：SDPO强制匹配的是“教师版本”的概率分布。该分布虽优于纯猜测，但并非KL散度意义上的最优方向，且包含特定的推理风格和格式偏好。这些“非必要的差异”累积成额外的参数漂移，成为遗忘的根源。

七、 结论：精准优于密集

本研究并非否定SDPO，而是界定其适用边界：

• 适用场景：任务结构清晰、答案格式固定、教师信号稳定（如工具使用）。此时SDPO能显著提升效率。
• 风险场景：任务涉及长篇推理、不确定中间步骤或多领域切换（如数学、科学）。此时SDPO会放大噪音，导致过度重塑和严重遗忘。

核心启示：
追求“短期高分”与“长期稳健”需采用不同策略。在持续学习中，应审慎使用密集自蒸馏，严格控制教师更新策略，并对不同词元（特别是格式词元）实施差异化处理。未来的方向是信号的精准性与稳健性，而非单纯的密度。

如需查阅完整论文，请访问arXiv搜索编号：arXiv:2607.01763v1。

Q&A 常见问题解答

Q1：SDPO（自蒸馏策略优化）和GRPO（组相对策略优化）的核心区别是什么？
A：GRPO仅基于最终答案的对错进行评分（类似只看考试成绩），信号稀疏；SDPO要求AI生成的每个词都严格模仿“看过答案的教师版本”，监督密度极高。虽然SDPO在短期任务中表现更强，但在长期多领域训练中，其高密度监督导致更严重的遗忘甚至崩溃，而GRPO虽进步较慢，但能更好地保留旧有知识。

Q2：SDPO训练崩溃时具体发生了什么现象？
A：研究记录的最极端案例是AI在工具使用训练中陷入“确认偏差循环”。AI开始无限重复输出数学答案格式标记\boxed，无论面对何种问题均输出此符号。这是由于快速更新的教师模型不断强化这一格式习惯，形成正反馈死锁，导致AI丧失正常输出能力，准确率归零。

Q3：为什么在数学训练中引入思维链（CoT）蒸馏反而有害？
A：数学推理过程通常冗长，包含大量自我修正、模糊中间步骤及潜在错误。SDPO将这些不可靠的“中间态”也作为金标准强制模仿，导致AI学到了大量噪音和错误的格式习惯，而非真正的解题逻辑。实验显示，加入CoT蒸馏后，AI回答变得更长、更混乱，性能不升反降。

相关文章