ICML 2026｜小模型也能「指挥」大模型RL后训练：清华&腾讯提出GPS，最高减少69% Rollout成本

发布时间：2026-07-18 06:53:21 来源：安智兰德资讯网 作者：娱乐

强化学习验证推理（RLVR）已成为提升大语言模型推理能力的小模型也讯提关键后训练路径。

在数学推理、挥大后训华腾代码生成及复杂逻辑任务中，模型模型通常针对同一 Prompt 生成多条思维链（Chain-of-Thought），练清随后通过可验证奖励机制判断正误，出Gt成并据此更新策略。最高

然而，减少该路径面临一个严峻挑战：训练成本高昂。小模型也讯提每个训练步骤均需大量 Rollout，挥大后训华腾意味着反复调用大模型生成长文本，模型导致巨大的练清计算与显存开销。

能否打破“平均用力”的出Gt成模式，让一个小模型提前预判：哪些 Prompt 更具训练价值？最高

清华大学与腾讯的研究团队提出了 Generalizable Predictive Prompt Selection (GPS)。其核心逻辑简洁高效：首先训练一个小型且具备强泛化能力的减少 Prompt Predictive Model (PPM)，用于预测不同 Prompt 在当前模型下的小模型也讯提难度；随后结合难度评估与 Batch 多样性策略筛选训练样本，从而剔除无效 Rollout。

实验数据显示，GPS 在数学与逻辑推理任务中均取得显著成效：
* 训练加速：相比 Uniform 随机采样，训练步数加速比达 1.4×–2.0×。
* 成本降低：相比需真实评估的动态采样（DS）Oracle 基线，GPS 在保持甚至超越性能的同时，最多减少 69%的 Rollout 成本，训练时间缩短 28%–47%。
* 推理优化：训练所得的小预测模型可复用于测试阶段的计算资源分配，在固定预算下最高提升 3.2%性能，或在性能无损前提下节省 36.4%的推理计算。

论文标题：Small Generalizable Prompt Predictive Models Can Steer Efficient RL Post-Training of Large Reasoning Models
论文地址：https://arxiv.org/abs/2602.01970
代码地址：https://github.com/thu-rllab/GPS
论文作者：Yun Qu、Cheems Wang、Yixiu Mao、Heming Zou、Yuhang Jiang、Weijie Liu、Clive Bai、Kai Yang、Yangkun Chen、Saiyong Yang、Xiangyang Ji
机构：清华大学自动化系季向阳教授团队、腾讯混元（LLM Department, Tencent）

研究背景：RL 后训练效能显著，但 Rollout 成本居高不下

近年来，大语言模型在数学、代码及复杂问题求解领域的突破，很大程度上得益于强化学习后训练技术。

特别是 RLVR范式：模型针对单个 Prompt 生成多条长链式推理回答，利用可验证奖励函数判定对错，最后通过 GRPO、PPO、Reinforce++ 等算法更新策略。

尽管该方法效果显著，但其代价极为高昂。根本原因在于：每个训练 Step 都需要海量的 Rollout，而 Rollout 涉及真实调用大模型生成长答案，计算与显存压力巨大。

更关键的是，并非所有 Prompt 均具备同等的训练价值：
* 过简单：模型高频答对，奖励无变化，梯度信号微弱；
* 过困难：模型高频答错，同样难以提供有效学习信号。

真正具有高训练价值的，往往是那些“模型有时能答对、有时会答错”的中等难度 Prompt。

因此，RL 后训练的核心痛点已从“如何增加训练量”转变为：

能否在每一步训练前，精准识别出最具训练价值的 Prompt？

现有方法主要分为两类：

1. 基于真实评估的方法（如 Dynamic Sampling, DS）：对候选 Prompt 进行额外的真实 Rollout，筛选无效样本。此类方法效果优异，但额外评估本身成本极高。
2. 基于预测的方法（如 MoPPS、GRESO）：依据历史奖励估计 Prompt 难度，避免大量额外 Rollout。然而，这类方法通常将每个 Prompt 视为独立对象建模：采样多则估计准，采样少则信息稀疏。此外，随着大模型能力动态变化，同一 Prompt 的难度也会随之改变，独立建模难以追踪这种动态演变。

鉴于此，论文提出了一个更具建设性的问题：

能否构建一个轻量级但具备强泛化能力的 PPM，利用整个优化历史，在不同 Prompt 间共享信息，并通过更优的 Batch 选择策略提升 RL 后训练效率？

GPS 正是围绕这一目标展开：它摒弃了每一步昂贵的真实评估，转而利用轻量 PPM 提前估算 Prompt 的训练价值。

方法：利用小型可泛化 PPM，预测高价值训练样本

GPS 旨在充当训练数据选择的“导航器”，而非替代大模型或修改 RLVR 算法本身。

1. 从“单题记账”到“共享历史”：可泛化的 Prompt Predictive Model

传统 Prompt-specific PPM 的局限在于，它如同为每道题建立独立账本：仅依据该题过往的对错次数来估计当前难度。

然而，模型能力的提升并非孤立发生。当模型在某类题型上进步时，语义相近或结构相似的其他题目难度也会相应降低。

为此，GPS 引入了一个全局潜变量，即论文所述的 Difficulty Context。可将其理解为压缩后的“当前训练状态”，用于记录模型在优化过程中积累的通用难度信息。

这意味着，即使某个 Prompt 采样频率极低，GPS 仍能参考相似 Prompt 的历史表现来推断其难度，避免信息稀疏问题。

论文提供了理论证明：当历史信息包含额外预测信号时，使用完整优化历史进行预测，相比仅使用 Prompt-specific 历史，能获得更低的预测均方误差。

2. 不仅关注“中等难度”，更强调 Batch 内多样性

仅预测难度尚不足够，关键在于如何构建一个高质量的 Batch。

GPS 采用统一的 Batch Utility函数，由两部分组成：

• 难度收益：GPS 偏好成功率接近 0.5 的 Prompt。在二值奖励场景下，此类样本能产生非零奖励方差，为 GRPO 等算法提供更有效的梯度信号。
• 多样性收益：避免 Batch 内 Prompt 题型过于相似，防止训练信号冗余。GPS 同时考量：
• Batch 内 Prompt 间的分散度；
• 当前 Batch 与上一轮 Batch 间的探索性。

这种设计被称为 History-anchored Diversity。直观而言，既要选取“难度适中”的题目，又要确保训练覆盖更多样化的区域，防止模型在局部题型上陷入局部最优。

3. 测试时复用：将 PPM 转化为计算预算分配器

GPS 的另一大亮点在于 PPM 的多场景适用性。

对于极简单题目，减少采样即可；对于几乎不可解的题目，增加采样也无益；真正值得投入计算资源的，是“具有挑战性但仍有可能解出”的题目。

GPS 训练得到的 PPM 可预测测试 Prompt 的难度，并据此动态分配测试样本的预算区间：对易题和极难题少分配预算，对中等偏难且有望解决的题目多分配预算。

由此，训练阶段习得的难度判断能力，可直接迁移至测试阶段的计算资源优化中。

实验设置：数学推理与逻辑推理，全面验证

论文在两类代表性推理任务上验证了 GPS 的有效性。

数学推理

• 训练集：DeepScaler，包含 40.3k 个竞赛级数学问题。
• 模型：DeepSeek-R1 Distill 1.5B 和 7B。
• 评测集：MATH500、OlympiadBench、Minerva Math、AMC23、AIME24 等。
• 泛化测试：使用 MMLU-Pro、ARC-c、GPQA-diamond 测试 Out-of-Distribution (OOD) 泛化能力。

逻辑推理

• 任务：Countdown Number Game。
• 训练集：Countdown-34 的 20k 子集。
• 评测集：CD34 及更难的 CD4。
• 模型：Qwen3-4B-Base、Qwen3-8B-Base，以及附录中的 Llama-3.2-3B-Instruct。

对比基线

• Uniform：随机采样 Prompt。
• MoPPS：为每个 Prompt 维护独立的 Beta 后验。
• PCL：使用 LLM 估计 Prompt 难度。
• GRESO：基于历史奖励统计进行概率过滤。
• DS / DS Oracle：通过真实额外评估筛选 Prompt，效果强但成本极高。

实验结果一：GPS 快速习得 Prompt 难度预测能力

论文首先评估 PPM 的预测质量，采用 Spearman rank correlation衡量预测难度与经验成功率之间的排序相关性。

结果显示，GPS 仅需极少训练步数即可建立有效相关性；随着优化历史积累，相关性持续提升，p-value 迅速降低。这表明 PPM 学到的并非孤立题目的记录，而是训练过程中逐渐形成的 Prompt 难度排序体系。

进一步比较发现，GPS 的难度预测质量显著优于 MoPPS；同时，在有效样本比例 (ESR)上，GPS 也明显高于 Uniform 和 MoPPS。

注：ESR 指一个 Batch 中能够产生非零奖励方差的 Prompt 比例。ESR 越高，说明 Batch 中真正提供训练信号的样本越多。

实验结果二：训练更快，性能更优

在训练曲线对比中，GPS 在 Countdown 4B、Countdown 8B、DeepScaler 1.5B、DeepScaler 7B 等多种设置下，均比 Uniform 更快达到相同性能水平。

• 训练加速：相比 Uniform，GPS 在训练步数上带来 1.4×–2.0×的加速。

若将横轴从“训练 Step”转换为“Rollout 数量”，GPS 的优势将更加显著。

由于 DS 需要对候选 Prompt 进行额外的真实评估，尽管其在 Step 维度上是强基线，但 Rollout 成本极高。相比 DS，GPS 最多减少 69%的 Rollout 量，同时保持相当甚至更优的最终效果。

数学推理结果

GPS 的优势主要体现在两方面：平均准确率达到或超过 DS Oracle，且多数设置下训练时间更短。

• DSR-1.5B：GPS 的 ID 平均准确率达 56.5，与 DS Oracle 持平，但训练时间仅 16h（DS Oracle 需 30h）；OOD 平均准确率达 33.5，为该组最佳。
• DSR-7B：GPS 的 ID 平均准确率达 67.4，超越 DS Oracle 的 67.0；OOD 平均准确率达 51.5，同样为最佳。训练时间 49h，远低于 DS Oracle 的 77h。

逻辑推理结果

Countdown 结果呈现类似趋势。

• Qwen3-4B：GPS 平均准确率达 66.6（高于 DS 的 66.2），训练时间 3.4h（低于 DS 的 4.9h）。
• Qwen3-8B：GPS 平均准确率达 68.6（略高于 DS 的 68.5），训练时间 5.0h（明显低于 DS 的 6.9h）。

由此可见，GPS 的收益并非以牺牲性能为代价换取成本降低。在这些设置下，它在减少 Rollout 或训练时间的同时，维持甚至提升了平均准确率。论文总结称，相比 Uniform，GPS 在数学任务上带来 1.6–1.9 个点的平均提升，在逻辑任务上带来 4.1–5.7 个点的平均提升。

实验结果三：测试时计算分配复用

GPS 的 PPM 在训练阶段习得的 Prompt 难度判断能力，可泛化至测试 Prompt。

论文在多个数学和逻辑测试集上验证了这一点。结果显示，在多数未见测试集上，PPM 预测难度与经验成功率之间仍保持统计显著相关。

结果表明，相比默认固定分配，GPS 可在固定预算下最高带来 3.2%的相对提升；或在性能无损的情况下，最多节省 36.4%的计算预算。

值得注意的是：PPM 在训练阶段学到的难度判断并未局限于样本选择，还可迁移至测试阶段，用于决定哪些题目值得分配更多采样预算。

消融实验：多样性与潜变量至关重要

论文进行了算法兼容性与消融实验。

算法兼容性：GPS 不仅适用于 GRPO，还能与 PPO 和 Reinforce++ 结合。在 Countdown 实验中，GPS 在两种算法下均持续优于 Uniform。

这一点至关重要，因为 DS 等基于真实评估的方法通常依赖每个 Prompt 生成多条回答；而 PPO 可能是单响应生成设置，DS 的适配性受限。GPS 依靠预测模型，无需额外真实评估，因此更容易迁移至不同的 RLVR 流程。

消融实验：
* 移除 history-anchored diversity会导致明显性能下降；
* 仅移除 inter-step exploration也会带来一定性能损失；
* 将生成式 PPM 改为不含潜变量 z 的确定性 PPM，效果同样变差。

消融结果印证了 GPS 的设计动机：共享历史负责提升难度预测的泛化能力，Batch 多样性减少样本冗余，潜在 Difficulty Context则用于刻画训练过程中不断变化的模型状态。

总结：RL 后训练不必“蛮力”，更需“会选题”

本工作的核心价值，不在于提出更复杂的 RLVR 更新算法，而在于将 Prompt 选择这一环节独立出来进行优化。

对于 RL 后训练而言，真正有价值的样本既非最简单题目，也非完全无法解出的题目，而是那些能产生有效奖励差异的中等难度 Prompt。GPS 利用小模型提前识别这些样本，并在 Batch 中兼顾多样性，从而帮助大模型规避无效 Rollout。

更进一步，训练阶段习得的难度预测能力可迁移至测试阶段，协助模型将采样预算精准投放于更值得尝试的问题上。

在训练成本日益高昂的背景下，此类方法提供了直接启发：未来大模型的后训练，可能不再仅仅是堆砌 GPU 和增加 Rollout，而是先判断哪些题目值得练、哪些计算值得花。

主要作者

曲云，清华大学自动化系本科及博士，在强化学习、大模型效率优化等领域发表顶级期刊 Nature Communications及 CCF-A 类论文 20 余篇。相关成果获得图灵奖得主及国际知名院士/Fellow 团队引用并获正面评价，并受到 Meta、Apple、千问、混元等全球领先科技企业的关注。

曾任腾讯混元“青云计划”实习生，深度参与大模型训练与优化，以及智能体系统的落地实践。

相关文章