大道至简，阿里与清华论文揭示扩散大模型推理能力，入选 ICML 杰出论文

发布时间：2026-07-18 04:21:18 来源：安智兰德资讯网 作者：娱乐

7月5日，大道大模阿里巴巴与清华大学联合发表的至简论文 《The Flexibility Trap: Rethinking the Value of Arbitrary Order in Diffusion Language Models》（灵活性陷阱：重新审视扩散语言模型中任意顺序生成的价值）正式入选 AI 顶级会议 ICML 2026 杰出论文（Outstanding Paper）。

作为 ICML 的阿里最高荣誉，杰出论文旨在表彰当年最具影响力的清华研究工作，通常仅授予 2-3 篇，论文理能力入获奖率低至接受论文的揭示L杰 千分之一。

图说：2026年7月5日，扩散ICML 2026 主席团公布两篇杰出论文名单，型推选阿里巴巴与清华大学合作的出论论文成功入选。

1. 扩散大模型（dLLM）：被寄予厚望的大道大模下一代架构

dLLM（Diffusion Large Language Model，扩散大语言模型）被视为当前最具潜力的至简下一代语言模型架构之一。Google 的阿里 Gemini Diffusion、中国人民大学的清华 LLaDA 等均属于该方向。

• 传统 LLM（如 GPT、论文理能力入Qwen）：生成文本如同打字，揭示L杰严格遵循从左到右的自回归顺序，逐个生成 Token。
• dLLM：打破顺序限制，可任意选择生成顺序。理论上，这提供了更大的生成解空间，因此在近一两年备受业界推崇。

然而，该论文首次对这一共识提出质疑：在数学、编程等通用推理任务中，任意顺序生成非但不能提升能力，反而构成“陷阱”。

2. 核心发现：不确定性节点的“熵退化”

研究指出，在复杂推理过程中，存在大量高不确定性的关键逻辑节点（如“因此”、“所以”等连接词）。这些节点如同逻辑分叉口，决定了推理的方向。

• 从左向右（自回归）：模型必须在每个分叉口当场做出选择，生成下一个 Token，无法跳过。这种强制性迫使模型深入思考逻辑链条。
• 任意顺序：模型倾向于绕过难点，优先处理容易确定的部分。当模型回头填充关键逻辑节点时，前后文已被锁定，原本需要推理的“分叉口”变成了简单的“填空题”，答案已被上下文预设。

图说：从左向右的自回归顺序（a）迫使模型在每个逻辑分叉口做出选择；任意顺序（b）绕过难点，优先处理容易部分，导致推理路径被提前锁死。（图片翻译自论文）

研究者将这一现象命名为 “熵退化”（Entropy Degeneration）。实证数据证实了这一结论：
* 在 HumanEval代码生成任务中，21.3%的题目仅能通过从左向右顺序解出，而任意顺序无法解出；
* 反之，仅 0.6%的题目是任意顺序能解出而自回归解不出的。
* 结论：顺序的自由度越大，推理性能反而越差。

3. 解决方案：JustGRPO —— 大道至简

基于上述发现，团队提出了一种极简的解决方案：JustGRPO。

• 核心策略：在强化学习训练阶段，放弃任意顺序，强制模型采用从左到右的生成方式，直接应用主流的 GRPO算法。
• GRPO 原理：让模型对同一道题生成多组答案，通过组内优劣对比来优化策略。

为何此前难以实现？

为 dLLM 设计强化学习算法曾面临巨大的工程挑战：
* 生成顺序不固定，导致无法准确归因每个 Token 的贡献；
* 各团队不得不引入复杂的修正手段来应对这一问题。

JustGRPO 的优势

JustGRPO 摒弃了所有复杂设计，类似于“当所有人都在给左手练力量时，有人建议直接用右手”。这种方法不仅简化了工程实现，更带来了显著的性能提升：

• 推理速度：不受影响；
• 推理效果：大幅提高。

在 GSM8K（包含约 8500 道多步推理小学数学应用题的标准测试集）上，JustGRPO 达到了 89.1%的准确率，全面超越 d1、ESPO、SPG、GDPO 等所有为扩散模型专门设计的复杂强化学习算法。

附：论文下载地址
https://arxiv.org/abs/2601.15165

相关文章