ICML 2026｜让奖励模型更准更高效，TikTok、NUS提出置信度门控

发布时间：2026-07-18 02:59:01 来源：安智兰德资讯网 作者：焦点

作者团队：本文第一作者朱子瑞（新加坡国立大学四年级博士生，让奖清华大学本科背景，励模专注多模态大模型及后训练优化）；通信作者包括 TikTok 的型更信度 Kanchan Sarkar、Kun Xu 以及新加坡国立大学校长青年教授尤洋。准更

核心摘要

奖励模型（Reward Model,高效 RM）是大语言模型对齐的关键枢纽，旨在为模型输出提供符合人类价值观的出置评价信号。当前主流方案存在显著权衡：标量判别式 RM 虽高效稳定，门控但缺乏可解释性；生成式 Judge 虽能阐述推理逻辑，让奖却因需为每个样本生成长链推理（Long Reasoning）而导致高昂的励模 Token 消耗与延迟。

本文提出 CAMEL（Confidence-Gated Reflection for Reward Modeling），型更信度一种创新的准更置信度门控反思机制。其核心逻辑为：
1. 轻量初判：模型首先输出单个 Token 作为初步判断。高效
2. 动态门控：若置信度高于阈值，出置直接输出结果；若置信度不足，门控则触发反思模块进行复核。让奖

关键洞察：两个判决 Token 之间的 Log-Probability Margin 与判断正确性高度相关，可作为衡量“样本难度”的零成本信号。

性能突破：
* 精度领先：在 RewardBench、RM-Bench、JudgeBench 上平均准确率达 82.9%，较此前最佳基线提升 3.2%。
* 小参数优势：仅用 14B参数，性能超越多个 70B级奖励模型。
* 极致效率：构建了更优的准确率-成本 Pareto 前沿，简单样本仅需 1 个 Token，仅困难样本消耗反思算力。

论文标题：CAMEL: Confidence-Gated Reflection for Reward Modeling
论文链接：https://arxiv.org/abs/2602.20670

背景：奖励模型的效率困境

随着 DeepSeek DSpark/DeepSpec 等工作的涌现，“基于置信度的计算分配”成为推理系统研究热点——即计算资源应精准投向高不确定性、高收益环节。CAMEL 在此前已系统性实践了这一原则：让模型先评估自身确定性，再决定是否投入反思成本。

在 RLHF、RLAIF 等后训练流程中，奖励模型充当“偏好裁判”，其质量直接决定大模型的行为导向。过去几年，奖励建模主要沿两条路径发展：
1. Scalar RM：输出标量分数，推理快、训练稳，但在事实核查、安全边界等细节上解释力不足。
2. Generative Judge (LLM-as-a-Judge)：先生成理由再给出判决，透明度高且擅长细微比较，但每个样本均需付出巨大的 Token 成本与推理延迟。

然而，并非所有偏好比较都需要“长思考”。多数样本模型可直接给出可靠判断，真正需要反思的仅是少数不确定或易错的困难样本。CAMEL 旨在解决核心问题：奖励模型究竟何时需要 Reflection？

方法：CAMEL 的置信度门控机制

CAMEL 的核心思想可概括为：“先轻量初判，后置信度门控；简单样本直出，困难样本复核。”

1. 单 Token 初判

给定问题与两个候选回答，模型首先输出初始判决（[[A]]或 [[B]]）。CAMEL 不引入额外的置信度评估模型，而是直接利用模型自身的输出分布：
* 高 Margin：两个判决 Token 间的 Log-Probability 差值越大，模型把握越大。
* 低 Margin：差值越小，样本越模糊，判定难度越高。

2. 置信度门控反思

• 高置信度：直接采纳初判，终止生成，获得 Scalar RM 式的效率。
• 低置信度：触发 Reflection 模块，围绕安全性、准确性、相关性、完整性等维度重新比较，给出最终判断，获得 Generative Judge 式的细致复核。

3. 训练策略：反事实前缀增强

为防止反思流于形式（仅重复初判），CAMEL 引入 Counterfactual Prefix Augmentation：
* 对每个样本构造强制初判为 A 和 B 的两个版本。
* 使用 GRPO进行训练，奖励仅取决于最终判决的正确性。
* 机制：若初判正确，奖励确认；若初判错误，奖励推翻。这使得反思成为真正的自我修正机制，且无需额外的人工解释标注。

实验：14B 模型的性能跃升

CAMEL 基于 Qwen3-14B构建，在 Skywork Reward Preference 80K 等偏好数据上训练，并在 RewardBench、RM-Bench、JudgeBench 三大主流基准上评测，覆盖聊天、安全、数学、代码等多类任务。

评测结果：
* CAMEL-Fast（仅单 Token 判断）：在三个 Benchmark 上分别达到 90.5%、74.8%、65.2%。
* CAMEL-Reflection（全量反思）：分别达到 92.8%、84.2%、71.6%。
* 综合表现：平均准确率 82.9%，超越此前最佳基线 3.2%。
* 规模优势：以 14B 参数规模，性能超越 LLaMA-3.1-Nemotron-70B、INF-ORM-LLaMA3.1-70B 等 70B 级重型奖励模型。

分析：计算资源的精准投放

1. 置信度是样本难度的可靠指标

分析显示，正确判断集中在高置信度区域，错误判断则集中在低置信度区域。这证实了模型自身置信度可有效区分样本难度，为选择性反思提供了直接依据。对于高频调用的线上系统，省去无差别的长推理意味着显著的成本节约。

2. 训练引发的“置信度偏移”（Confidence Shift）

CAMEL 训练后，置信度分布整体左移，中位数从 23.2 降至 5.9，模型变得更加保守。这可能源于模型学会了识别对最终判断真正关键的 Token，从而在下结论时更为审慎。

3. 反思具备真正的纠错能力

初判与反思结果的混淆矩阵进一步验证了反思价值：
* RM-Bench：反思纠正了 1565个初判错误样本，仅误改 332个正确初判，净增益 +1233。
* RewardBench：净增益同样为正（+77）。
反思带来了可度量的纠错能力，而非形式化的重复推理。

4. 更优的准确率-成本折中

通过调节置信阈值，CAMEL 可在 CAMEL-Fast 与 CAMEL-Reflection 之间连续切换，灵活适配吞吐、延迟与准确率需求。与 RM-R1-DeepSeek-32B 等强生成式模型相比，CAMEL-Fast 仅用 1 个 Token 即可达到可比表现，中等阈值下更能以显著更少的 Token 实现超越。CAMEL 并非简单延长推理，而是将反思预算集中在最可能带来收益的位置。

总结

奖励模型长期面临效率与表达能力的矛盾：标量模型高效但黑盒，生成式 Judge 强大但昂贵。CAMEL 利用判决 Token 的 Log-Probability Margin 作为零额外成本的置信度信号，实现“轻量初判 + 必要反思”的动态机制，并通过反事实前缀增强与 GRPO 训练，使反思具备真正的确认或纠错能力。

最终，CAMEL 以 14B 参数在三大主流评测中取得 82.9% 的平均准确率，超越此前最佳 3.2%，并提供了可灵活调节的准确率-成本 Pareto 前沿。这一成果再次验证了推理系统研究的核心原则：不要让模型无差别地思考，而要把计算花在真正困难的地方。

「蚂蚁InTech奖」倒计时申报中

蚂蚁InTech奖由蚂蚁集团发起，旨在表彰对计算机领域科研进步有关键推动作用的中国青年学者及青年博士，分为科技奖与奖学金两部分。2026届蚂蚁InTech奖将于 7月17日24时截止申报。有意向的学者与同学欢迎扫描海报二维码进行申报。

相关文章