单层RL超越全参数训练，跨任务跨模型跨算法全部验证

发布时间：2026-07-17 05:18:17 来源：安智兰德资讯网 作者：休闲

作者团队：本文第一作者为明尼苏达大学博士生张子健，单层导师为洪明毅教授。全参全部合作作者包括北京大学胡日臻、数训算法Amazon Hongzhou Lin，练跨以及明尼苏达大学的任务 Athanasios Glentis、Dawei Li 和 Chung-Yiu Yau。跨模

核心发现：现有的型跨 RL 后训练方法通常假设所有 Transformer 层对收益的贡献均等，从而统一更新全参数。验证然而，单层来自明尼苏达大学、全参全部北京大学和亚马逊的数训算法研究团队通过系统性实验挑战了这一假设。在对 7 个模型、练跨2 个模型家族、任务3 种 RL 算法及 3 个任务领域的跨模深入研究中，团队发现 RL 收益高度集中于少数中间层。型跨令人惊讶的是，仅训练单个 Transformer 层即可匹敌甚至超越全参数 RL 训练，且基于此发现的策略能持续优于标准全参数方法。

论文标题：《Is One Layer Enough? Training a Single Transformer Layer Can Match Full-Parameter RL Training》
论文链接：https://arxiv.org/abs/2607.01232

背景与动机：RL 后训练的收益究竟源自何处？

强化学习与可验证奖励（RLVR）已成为大语言模型后训练的核心，在数学推理、代码生成和智能体决策等领域表现卓越。尽管学界在 RL 目标、奖励模型和优化算法上投入巨大，但一个基础问题长期被忽视：

RL 的收益究竟从网络的哪里产生？是所有层均等贡献，还是集中在特定层？

预训练 LLM 的层级结构不均匀性已有大量研究证实：
* 推理阶段：移除某些“基石层”会导致性能崩溃至随机水平，而移除其他层影响甚微。
* 监督微调（SFT）：已有研究提出随机采样、重要性感知及基于梯度的动态层选择策略，且关键层在不同数据集中保持高度一致。

然而，这些研究多集中于推理行为或 SFT 场景。RL 后训练是否也存在类似的层级结构化模式？理解这一结构不仅能揭示 RL 如何重塑模型，更为改进 RL 算法提供了新视角。现有方法（如 GRPO、Dr. GRPO、GiGPO）统一更新所有层，隐含了“各层贡献相似”的假设，本研究对此提出了根本性质疑。

核心方法：层贡献度（Layer Contribution）

为了量化每一层在 RL 后训练中的作用，研究团队提出了层贡献度 $C(k)$指标：

1. 实验设置：对于一个 $L$ 层的 LLM，冻结除第 $k$ 层以外的所有参数（包括 Embedding 和 LM Head），仅使用 RL 训练该层。
2. 对比基准：将单层训练的性能提升与全参数 RL 基线进行对比。

图1：层贡献度计算公式

$$ C(k) = \frac{S_k - S_{base}}{S_{full} - S_{base}} $$

• $S_{base}$：预训练模型评测分数
• $S_{full}$：全参数 RL 训练后评测分数
• $S_k$：仅训练第 $k$ 层后的评测分数

解读：
* $C(k) = 1.0$：单层训练效果等同于全参数 RL。
* $C(k) > 1.0$：单层训练效果超越全参数 RL。

关键设计：梯度仍通过整个网络反向传播，仅参数更新限制在第 $k$ 层。这确保了评估环境的一致性，差异仅反映层本身的学习能力。

案例解析：
在 Qwen3-1.7B-Base上，预训练数学平均分为 44.1%。经 Numina-COT 数据集 GRPO 全参数训练后，分数提升至 50.8%（+6.7%）。
* Layer 10：仅训练该层，分数达 51.8%。$C = (51.8 - 44.1) / (50.8 - 44.1) = 1.14$。单层收益是全参数的 114%。
* Layer 24：仅训练该层，分数达 46.1%。$C = 0.28$。收益仅为全参数的 28%。
* 结论：同一模型内，最优层与最差层贡献差距超过 4 倍。

图2：Qwen3-1.7B-base 层贡献度示例：Layer 10 超越全量 RL，Layer 24 仅获 28% 收益。

实验设置

研究团队在 7 个模型上进行了系统性实验，覆盖多维度变量：

• 模型家族与规模：Qwen3 (1.7B/4B/8B)、Qwen2.5 (1.5B/3B)、DeepSeek-Distilled-7B。
• RL 算法：GRPO、Dr. GRPO、GiGPO。
• 任务领域：
• 数学推理：NuminaMath-CoT、DeepScaleR、MATH、Skywork
• 代码生成：DeepCoder
• 智能体决策：ALFWorld

评估体系：
* Qwen3 主实验：12 个基准测试，涵盖数学（MATH500, GSM8K, OlympiadBench, AMC）、代码（HumanEval+, MBPP, LiveCodeBench）、推理（GPQA-Diamond, MMLU-Pro）和语言（C-Eval, IFEval, MGSM）。总分为四类分数等权平均。
* 其他实验：针对特定模型在 6 个数学基准或 ALFWorld 6 类家务任务上评估成功率。

公平比较协议：
* 先为全参数基线调优学习率，将该学习率统一应用于所有单层训练。
* 所有配置使用相同的超参数（batch size, KL 系数, clip range, epoch），直至收敛。
* 通过学习率消融实验验证：改变学习率不会改变层贡献度的排序。

发现一：中间层主导 RL 收益，具有高度一致性

在所有 7 个模型上，规律反复出现：位于网络深度 40–60% 的中间层拥有最高贡献度，而靠近输入和输出的层贡献显著偏低。

图3：7个模型的层贡献度分布：均呈现“中间高、两边低”趋势，部分单层训练可超越全量 RL（绿色区域 $C>1$）。

1. 跨数据集一致性

在 Qwen3-1.7B-Base 上，使用 NuminaMath-CoT 和 DeepScaleR 两个不同数学数据集进行单层训练，28 层的贡献度排序呈现强相关（Spearman $\rho = 0.76, p < 0.001$）。排名高的层在不同数据集上依然排名高。

2. 跨任务一致性

对比数学任务（NuminaMath-CoT）与代码任务（DeepCoder），尽管能力训练目标完全不同，层贡献度排序仍显著相关（Spearman $\rho = 0.59, p < 0.001$）。相同的层倾向于在不同任务中保持高贡献。

图4：跨任务层贡献度分析：即使更换数据集和任务，层贡献度排序保持高度一致。

3. 跨模型家族与 RL 算法一致性

• 算法差异：在 Qwen2.5-Math-1.5B 上使用 Dr. GRPO（非 GRPO），层贡献度曲线保持中间高、两端低。最高贡献层为 Layer 14 ($C=1.01$) 和 Layer 16 ($C=1.00$)，最低为 Layer 23 ($C=0.42$)。
• 任务差异：在智能体任务 ALFWorld 上使用 GiGPO 训练 Qwen2.5-Instruct 系列。尽管任务从数学切换为多步交互式决策，且 RL 增益幅度巨大（83.7% vs 6-10%），中间层集中的结构依然不变。
• Layer 14 训练 Qwen2.5-1.5B-Instruct：超越全量训练。
• Layer 16 训练 Qwen2.5-3B-Instruct：超越全量训练。

图5：Dr.GRPO 训练 Qwen2.5-Math-1.5B 结果

图6：GiGPO 训练 Qwen2.5-Instruct 系列结果

结论：层贡献度是预训练模型的内在结构属性，由权重决定，而非取决于训练数据或任务。

发现二：单层训练可以超越全参数 RL

在测试的每一个模型上，最佳单层均达到或超过了全参数训练效果（$C \ge 1.0$）。

图7：单层训练在 7 个模型上均超越全量 RL

意义：
这一结果挑战了“RL 能力提升需要整个网络协调适应”的隐含假设。事实表明，RL 收益可被压缩至极少数层。RL 后训练更像是在调整几个关键的“旋钮”，而非重塑整个网络。

推论：标准全参数 RL 可能是次优的。低贡献层的更新不仅无益，反而可能引入噪声或干扰高贡献层的学习。下文的选择性训练实验验证了这一推论。

实用策略：基于层贡献度的训练优化

基于上述发现，研究团队提出三种简单有效的优化策略：

策略一：层自适应学习率

• 方法：对高贡献层使用更高学习率（1e-5），其他层保持默认（5e-6）。
• 效果：
• Qwen3-1.7B：Boost B10 达 53.70%（vs 基线 50.82%，+2.88）。
• Qwen3-8B：Boost B10 达 67.42%（vs 基线 66.43%，+0.99）。
• 对照：提升最低贡献层学习率导致性能下降，证明改进源于贡献度引导而非单纯的学习率调整。

策略二：层选择性训练

• 方法：仅训练贡献度最高的 $k$ 层，冻结其余所有层。
• 效果：
• Qwen3-8B：仅训练 Top-10 层 → 69.11%（vs 全参数 66.43%，+2.68，占全参数增益的 32%）。
• Qwen3-4B：仅训练 Top-5 层 → 65.87%（vs 全参数 62.97%，+2.90，占 25% 额外增益）。
• Qwen3-1.7B：仅训练 Top-5 层 → 51.53%（vs 全参数 50.82%，+0.71）。
• 对照：仅训练最低贡献层导致性能大幅下降（如 Only W5 在 1.7B 上仅 46.87%）。冻结低贡献层反而产生更干净的优化。

策略三：零分析启发式（Zero-Analysis Heuristic）

• 方法：无需计算层贡献度，直接按位置选择中间 5 层进行训练。
• 28 层模型：选择 Layer 11–15。
• 36 层模型：选择 Layer 15–19。
• 效果：
• Qwen3-1.7B：中间 5 层启发式达 51.35%（vs 全参数 50.82%，vs 贡献度引导 51.53%）。
• Qwen3-8B：达 68.19%（vs 全参数 66.43%，vs 贡献度引导 68.97%），额外增益占全参数总增益的 21%。
• 启示：对于新模型/新任务，简单训练中间层是一个强大且无需分析的默认策略。

图8：基于层贡献度的训练策略表现
* 蓝色：高贡献层提升学习率
* 绿色：仅训练高贡献层
* 红色：低贡献层对照实验
* 紫色：基于位置的中间层启发式
* 灰色：全参数基线

深入分析：不是参数变化量，而是参数空间质量

疑问：中间层贡献高，是否仅因其在 RL 中参数变化更大？

研究团队测量了 Qwen3-1.7B-Base 每层的权重变化幅度 $|\Delta\theta_k|_2$，得出两个关键观察：

1. 全参数训练下，权重变化均匀：所有层权重 L2 范数变化在 0.5–0.8 之间，分布均匀。中间层并未比其他层变化更多，但其单独训练时却能产生远超其他层的性能提升。“权重变化均匀”与“贡献度高度不均匀”脱钩。
2. 单层训练下，权重变化幅度相似：无论高/低贡献层，单独训练时权重变化幅度均在 0.8–1.0 之间（显著大于全参数时的 0.5–0.7），表明单层需移动更远以补偿其他层的冻结。但高/低贡献层经历了相似幅度的变化，结果却截然不同。

图9：权重变化幅度 L2 范数
* 蓝色：全参数训练（变化均匀）
* 彩色尖峰：单层训练（变化幅度相似但结果不同）

结论：层贡献度反映的是参数子空间捕获 RL 改进的有效性，而非参数变化的幅度。某些层的参数空间天然更适合承载 RL 带来的能力提升。

总结

本文揭示了 RL 后训练的一个未被认识的结构性属性：

1. RL 收益高度集中：大部分提升集中于少数中间层。训练单个层即可匹敌甚至超越全参数 RL。
2. 层贡献度具有一致的结构：中间层贡献最高规律在不同模型、算法、数据集和任务间保持稳定，是预训练模型的内在属性。
3. 可直接指导训练优化：简单的基于层贡献度的策略（自适应学习率、选择性训练、中间层启发式）均持续超越标准全参数 RL 训练。

这些发现为理解 RL 如何改变大语言模型提供了新视角，并为改进 RL 后训练提供了实用的新方向。

相关文章