LinkedIn等机构团队如何让智能体告别"一刀切"式奖励机制

发布时间：2026-07-17 09:41:54 来源：安智兰德资讯网 作者：百科

这项由LinkedIn公司、等机队何刀切哈佛大学和约翰斯·霍普金斯大学联合开展的构团告别研究，以预印本形式于2026年6月30日发布，让智论文编号为arXiv:2606.32017，式奖有兴趣深入了解的励机读者可通过该编号查询完整论文。

故事的等机队何刀切起点：一个看似公平、实则偏颇的构团告别奖励机制

假设你正在培训一批新员工，规则非常简单：如果今天的让智销售目标达成了，今天所有参与的式奖员工都得到奖金；如果没达成，所有人都被扣工资。励机听起来似乎很公平，等机队何刀切但问题来了——如果一个员工上午跑了六个客户却没拿到订单（属于有效探索），构团告别另一个员工因为填错了表格而耽误了关键交易（属于明显失误），让智而最终销售目标恰好因为某位同事的式奖临时发挥而完成——那么，拿到奖金的励机这三位员工，到底谁应该得到最多的肯定？按现行规则，他们三人拿的奖金完全一样。

这个不公平的困境，恰恰是当前主流人工智能训练中真实存在的问题。研究团队将其应用于所谓的"智能体强化学习"场景——在这类场景中，AI不是回答一道题就结束，而是像真正的员工一样，要执行一系列连续的动作：搜索信息、点击链接、编辑文件、下达指令、与物体交互。现有的主流训练方法叫做GRPO（群组相对策略优化），它的做法正是前面说的那种"大锅饭"式奖励：一条任务轨迹成功了，里面所有的动作都被一视同仁地鼓励；失败了，所有动作都被压制。

研究团队将这套方法存在的问题比作"急救室里没有分诊台"——所有病人不管轻重缓急都排在一起等待，资源严重错配。因此，他们提出了一套名为TRIAGE的新框架，其名字本身就取自医学急救中的"分诊"概念，核心思想是：在给AI动作分配"奖励"之前，先弄清楚这个动作到底扮演了什么角色。

一、分诊台的设计：四种角色，各有其责

急诊室的分诊护士会把病人分成几类：危重、紧急、普通、可等待。TRIAGE框架对AI的每一个动作也做了类似的分类，建立了一套由四种角色构成的分类体系。

第一类是"决定性进展"（Decisive，简称D）。这类动作直接推动了任务目标的实现，好比是棋局中的"将军"一步。以购物AI为例，"点击购买"就是这类动作；以家务AI为例，"把清洁好的刀具放到餐桌上"就是D类动作——它们直接触发了最终的成功判定。

第二类是"有效探索"（Exploration，简称E）。这类动作不能直接完成任务，但它们帮助AI获取了有用的信息。你可以把它理解为侦探在案发现场收集线索的过程——没有破案，但每一条线索都是必要的铺垫。比如AI在找到目标物品之前打开了一个柜子查看里面有什么，或者在搜索商品时输入了一个合理的查询词，这些都属于E类动作。

第三类是"无进展基础动作"（No-progress，简称N）。这类动作既不推进任务，也不带来新信息，但至少没有造成损害。就像侦探在走廊里漫无目的地踱步——什么都没发生，但也没坏事。比如AI在任务已经完成后又多点了一次"购买"按钮，就属于这类。

第四类是"退步动作"（Regression，简称R），这是最关键也最容易被忽视的一类。这类动作要么损坏了任务状态，要么是在没有任何新信息收益的情况下重复了已知无效的操作。比如AI已经检查过某个抽屉里没有目标物品，却连续检查了十五次；或者把本应保持完好的文件改错了；又或者明明已经选好了商品属性，却反复重复点击同一个选项——这些都是R类动作。

这个分类体系的精妙之处在于，它不仅仅是按"好坏"排序，而是区分了动作的本质类型。有效探索和无进展基础动作的关键区别在于：探索改变了AI对世界的认知状态，而基础动作什么都没改变。这个区别在传统的奖励机制中完全看不见，但对AI的学习至关重要。

二、真正的问题：成功掩盖了罪行，失败埋葬了功劳

研究团队将现有GRPO方法的核心缺陷描述为"两个盲点"，理解这两个盲点，才能真正明白TRIAGE为什么有价值。

第一个盲点：失败轨迹中的有效探索被错误惩罚。考虑这样一个场景：AI在执行购物任务时，先是发出了一个非常精准的搜索词（E类），找到了候选商品，但最终买错了产品（R类）——任务失败。在GRPO的体系下，那个精准的搜索行为会和买错产品的行为一起被压制，就好像在告诉AI"不要搜索，搜索没用"。日积月累，AI就会变得越来越不敢尝试信息收集，在信息不足的情况下贸然行动，反而导致更多的失败。

第二个盲点：成功轨迹中的退步动作被错误鼓励。研究团队在审查真实记录的AI轨迹时发现了触目惊心的数据：在ALFWorld（一个家务类任务环境）的成功轨迹中，退步类动作（R）的比例高达48%；在WebShop（商品购物任务）中，这一比例也达到了43%。这意味着，AI在任务最终成功的轨迹里，将近一半的动作是退步或无效的重复操作，但它们全部获得了正向奖励——就像那个填错表格却最终分到奖金的员工一样，AI从这些错误操作中学到的是"下次也这样做没关系"。

研究团队用一个具体的例子让这个问题变得非常直观。他们记录了一条34步才完成的ALFWorld任务（任务是"把一个冷苹果放进垃圾桶"）。在这条成功的轨迹里，AI在任务开始后陷入了一个疯狂的循环：连续对冰箱执行了15次"检查冰箱"的操作，每次检查都没有任何新发现，纯属无效重复（R类）。之后才开始探索其他地方，最终完成任务。在GRPO的奖励体系下，那15次对着冰箱的无效检查，获得了和最终完成任务一模一样的正向奖励——AI实际上在学习"开头先疯狂检查冰箱15次"是成功策略的一部分。

三、TRIAGE的解法：角色定好了，奖励才精准

明确了问题所在，TRIAGE的解法其实并不复杂，但它的设计思路相当精巧。

TRIAGE的运作方式分为两步。首先，用一个经过专门设计的AI法官（一个专门调用来分析动作的语言模型）对每个动作进行角色分类。这个法官不是全知全能的：它只能看到当前动作前后各五个步骤的局部上下文，不能看到最终任务是否成功——这样设计是为了防止法官"事后诸葛亮"，用结果反推动作的好坏，而必须真正从动作本身的局部意义来判断它的角色。法官还需要为每个判断提供简短的文字证据，这个要求类似于法庭上的"举证"，迫使法官做出有根据的裁定而不是随意贴标签。

其次，根据角色分类，给每个动作叠加一个有界限的"过程奖励"，叠加到GRPO原有的轨迹级奖励上。具体数值设定为：D类动作获得+1的过程奖励，E类获得+0.5，N类获得-0.1（轻微惩罚以减少无效动作），R类获得-0.5（较重惩罚，即便它出现在成功轨迹里）。整体而言，GRPO的轨迹级奖励仍然是主导信号，过程奖励是在此基础上的局部修正——就像薪资体系里基本工资不变，但个人绩效奖金根据具体表现调整。

研究团队通过一个叫做"混合系数λ"的参数控制这种修正的强度。λ越大，过程奖励的影响越强；λ过大则会带来风险，因为法官并非完美，过度信任法官的判断可能导致错误放大。研究团队在不同任务上分别调整了λ的值（购物类任务λ=0.4，其他任务λ=0.2），并严格要求这个调整只能在训练数据上进行，测试数据不参与调参过程。

值得强调的是，这套奖励常数（D=1, E=0.5, N=-0.1, R=-0.5）在所有任务中保持不变，从未针对特定环境做过调整——这说明这套分类体系具有一定的普适性，不依赖于特定任务的先验知识。

四、理论支撑：为什么角色分类会降低训练误差

研究团队不仅仅提出了这套方法，还给出了数学层面的理论支撑，尽管他们也坦诚地说这是一种"合理化论证"而非绝对保证。

核心逻辑可以这样理解：GRPO把整条轨迹的奖励平摊给每个动作，这个平摊值和每个动作真正应得的"理想奖励"之间存在一个差距，研究团队把它叫做"信用残差"。如果我们能用某种信息来解释这个差距，就能让训练信号更精准。

研究团队证明了这样一个命题：在所有只依赖角色标签进行修正的方案中，最能减少"信用残差"误差的方案，就是用每种角色对应的平均残差来做修正。而TRIAGE的固定常数（1, 0.5, -0.1, -0.5）正是对这个理论最优解的近似——只要法官分类基本可靠，这套常数就能减少训练中的估计误差，进而降低梯度的方差，让训练更稳定。

更进一步，他们还明确了这套方法会失效的条件：如果法官质量很差，将R类动作和E类动作搞混，那么过程奖励的协方差符号就会搞反，不但帮不上忙，反而会让训练变差。这个预测在实验中得到了完整的验证——当他们换成一个质量较差的法官时，TRIAGE的表现确实跌到了GRPO基线以下。

五、法官好不好，决定了一切

既然法官的质量如此关键，研究团队对法官进行了细致的人工审核。他们请来了两位不了解TRIAGE理论体系的标注员，独立对135个动作片段进行了四类角色的手动标注，两人的原始一致率高达88.1%，分歧由资深研究员裁定后作为标准答案。

随后，他们测试了不同规模和配置的法官模型，核心发现非常清晰：能否正确识别"成功轨迹中的退步动作"（即R-in-success这个关键格子），是法官质量的决定性指标。

使用Qwen3-8B模型但不开启"深度思考"模式时，法官在识别成功轨迹中的R类动作上的F1分数（一个衡量准确率的综合指标，满分100）只有29.2——几乎不如随机猜测。但开启深度思考模式之后，同一个8B模型的得分飙升至86.1。相比之下，将模型规模扩大到14B甚至32B，但不开启深度思考，F1分数依然很低（分别为5.7和35.9）。这个发现很有意思：在识别"成功中的失误"这件事上，让模型多想一想比把模型做得更大更有效。

反之，在"失败轨迹中识别有效探索"（E-in-failure）这个格子上，即便是不思考的小模型也能达到90以上的F1——这说明探索和失败的组合模式本身就比较容易识别。真正的难点始终是：在成功的光环下，发现那些不应该被表扬的动作。

研究团队最终选择了Qwen3-8B加深度思考模式作为默认法官，这个选择在效果和成本之间取得了最好的平衡。

六、实验结果：三种任务，两种AI，全面比较

研究团队在三个不同的智能体任务环境中对TRIAGE进行了验证，分别代表了三种不同的挑战类型。ALFWorld是一个虚拟家居环境，AI需要按照自然语言指令完成家务任务，比如"把清洗过的黄油刀放到餐桌上"，关键难点是大量的重复操作和对物体位置的探索。WebShop是一个模拟电商环境，AI需要根据用户需求搜索并购买符合条件的商品，这里的搜索是探索，购买是决定性动作，而重复点击已选属性就是退步。Search-QA是一个多轮问答任务，AI需要反复搜索、精炼查询词，最终给出正确答案，整体以探索动作为主，退步动作相对较少。

两个政策模型（Qwen2.5-7B-Instruct和Qwen3-1.7B-Instruct）分别在这三个环境中接受训练和测试，每组实验重复了十次以确保结果可靠，并报告平均值和标准差。

结果方面，以Qwen2.5-7B为例：在ALFWorld任务上，GRPO的成功率为79.6%，TRIAGE提升到了87.5%，提升了7.9个百分点；在WebShop上，GRPO为70.1%，TRIAGE达到77.2%，提升7.1个百分点；在Search-QA上，从43.3%提升到48.1%。对于更小的Qwen3-1.7B模型，提升幅度更为显著：ALFWorld从45.2%提升到56.4%，WebShop从37.5%提升到55.9%，绝对提升分别高达11.2和18.4个百分点。Search-QA则从39.4%提升到42.3%。

特别值得关注的是训练完成后AI的行为变化。因为TRIAGE压制了无效重复和退步动作，训练后的AI完成任务需要的步骤也减少了。在ALFWorld中，GRPO训练后的AI平均需要24.45步完成任务，而TRIAGE训练后的AI只需要21.90步，少了约10.4%；WebShop中分别为8.00步和6.82步，少了约14.8%。这说明TRIAGE不只是让AI更容易成功，还让AI学会了"以更简洁的方式"达成目标。

七、对比其他方法：TRIAGE凭什么与众不同

为了验证TRIAGE的优势不只是"多加了奖励信号"这么简单，研究团队还与多种竞争方案进行了对比。

首先是PPO（近端策略优化），这是一种需要单独训练一个"评分员"网络来估计每个动作价值的成熟方法。TRIAGE在不依赖单独评分员的情况下，在三个任务上全面超越了PPO。

其次是GiGPO，这是一种通过比较"从相同状态出发的不同动作"来分配更精准奖励的方法。TRIAGE与其表现接近（在ALFWorld上两者基本持平，在WebShop上TRIAGE略优），但GiGPO依赖"相同状态多次出现"的条件，在Search-QA这类每次搜索都返回不同内容的任务中完全失效，TRIAGE则不受此限制。

最具说服力的对比来自于两个专门设计的控制实验。其一是"标量过程奖励基线"：使用完全相同的法官和上下文窗口，但不要求法官给出角色分类，而是直接输出一个-1到1之间的进展评分，将这个评分叠加到GRPO奖励上。这个方法同样比GRPO好，但在所有三个任务上都不如TRIAGE。这说明角色分类本身提供了纯粹的进展评分所没有的信息。其二是"共享骨干价值基线"：在政策模型上附加一个线性层，用任务成功与否来训练这个层预测每个动作的价值，类似于Actor-Critic架构的简化版。这个方法在ALFWorld和Search-QA上超越了GRPO，但在WebShop上几乎没有提升——原因正是之前提到的：WebShop中的退步动作（重复点击同一属性）几乎不改变可见的环境状态，价值函数无法从几乎相同的状态观测中区分有效点击和无效重复点击，而角色分类器读取了动作历史，直接将重复操作标记为R。

研究团队在消融实验中进一步分解了TRIAGE的贡献来源。在Qwen2.5-7B上，将R类奖励清零（即不惩罚退步动作）会导致ALFWorld从87.5%跌至81.4%，Search-QA从48.1%跌至46.7%，WebShop从77.2%跌至73.1%——这部分损失是最大的单项贡献。将E类奖励清零（即不奖励探索动作）则分别跌至85.8%、47.5%和75.5%——贡献持续但次于退步惩罚。两个成分都有意义，但压制退步动作是TRIAGE增益的主要来源，这与ALFWorld和WebShop中高达48%和43%的退步动作比例完全对应。

八、方法的边界与诚实的局限

研究团队在论文中相当坦率地讨论了TRIAGE的局限性，这种坦诚让结论更加可信。

角色标签是语义估计而非客观事实。法官可能会高估某些探索行为的价值，或者遗漏某些隐蔽的退步。TRIAGE通过只将法官用于"诊断角色"而非"直接决定奖励"来缓解这一风险，但无法消除法官的误判影响。

角色的判断是上下文相关的。同样是"检查某个柜子"，第一次检查是E类探索，第十五次检查就变成了R类退步。法官必须依赖动作历史来判断，单纯看动作本身无法区分。研究团队的设计中已经给法官提供了前后各五步的上下文，但对于需要非常长历史背景才能判断的情况，这个窗口可能不够。

同时，TRIAGE带来了额外的计算成本——训练时需要为每个动作调用一次法官模型。研究团队的回应是：将GRPO的训练步数翻倍（从150步增加到300步），ALFWorld的成功率也无法超过85%，始终低于TRIAGE的87.5%。这说明增加训练量并不能解决信用分配本身的结构性问题，而TRIAGE解决的正是这个结构性问题，所以额外的计算成本从投入产出比来看是合算的。

说到底，TRIAGE回答了一个在AI训练领域长期被忽视却至关重要的问题：在连续决策任务中，"最终结果"并不能公平地评价"过程中的每一步"。就像一场篮球比赛最终赢了，并不意味着球员每一次运球、每一次传球都是正确的选择。想要训练出真正高效的AI智能体，就必须在结果之外加上一个"过程维度"——这个维度不需要是完美精确的，只需要能区分那两个最关键的矛盾格子：成功中的错误，和失败中的正确。

这项研究最有意思的地方或许在于，它用医学"分诊"的隐喻做出了一个很好的启示：面对复杂问题时，有时候最重要的事不是立即行动，而是先花时间弄清楚"这个问题属于哪一类"。有兴趣深入钻研技术细节的读者可以通过arXiv:2606.32017获取完整论文，里面包含完整的数学推导、每条审核轨迹的逐步分析，以及详尽的超参数敏感性分析。

Q&A

Q1：TRIAGE框架中的四种动作角色分别是什么意思？

A：TRIAGE将AI的每个动作分成四类。D类（决定性进展）是直接完成任务目标的动作，比如点击购买或放置目标物品。E类（有效探索）是帮助AI收集信息的动作，比如打开柜子查看或发出搜索查询，不直接完成任务但有价值。N类（无进展基础动作）是对任务和信息都没有影响的无害动作。R类（退步动作）是损坏状态或在没有新信息收益的情况下重复已知无效操作的动作，比如连续检查同一个空柜子十五次。

Q2：TRIAGE和普通GRPO训练方法相比，实际效果能提升多少？

A：在三个测试任务中，使用Qwen2.5-7B模型时，ALFWorld任务成功率从79.6%提升到87.5%，WebShop从70.1%提升到77.2%，Search-QA从43.3%提升到48.1%。对更小的Qwen3-1.7B模型提升更明显，WebShop成功率从37.5%跃升到55.9%，提升了18.4个百分点。此外，完成任务需要的动作步数也分别减少了约10%到15%。

Q3：TRIAGE中的AI法官如果分类错了会怎样？

A：法官分类质量直接决定TRIAGE的效果。研究发现，使用不开启深度思考模式的法官时，识别成功轨迹中退步动作的F1分数只有29分左右，TRIAGE的表现会跌到GRPO基线以下，比不用TRIAGE更差。开启深度思考后，同一模型的分数升至86分，TRIAGE才能带来稳定增益。因此法官的可靠性，尤其是能否在成功轨迹中找出退步动作，是整套方法有效运作的前提条件。

相关文章