具身智能“高考”难疯了！人类100分，最强模型12.8

发布时间：2026-07-17 13:35:34 来源：安智兰德资讯网 作者：休闲

允中 发自 凹非寺 | 量子位

通用机器人这座“高山”，高考究竟有多陡峭？具身

过去的一年，VLA（视觉-语言-动作模型）、难疯机器人基础模型以及世界模型轮番登场。人类一个个演示视频（Demo）愈发丝滑：叠碗、分最插管、强模收纳、高考倒水、具身整理桌面……机器人似乎终于开始听懂人话、难疯理解物理世界，人类并具备动手执行的分最能力。

然而，强模核心问题随之而来：这些模型究竟谁更强？高考强在何处？能否从仿真环境成功迁移至真实世界？距离真正的通用操作机器人，还有多远？具身

现在，一份新的难疯“登山路线图”正式出炉。

曾推出 RoboTwin 系列基准的原班团队，带来了 RoboDojo：一个统一的、涵盖仿真与真实世界的机器人操作评测基准。

• Website: https://robodojo-benchmark.com/
• arXiv: https://arxiv.org/abs/2607.04434
• Leaderboard: https://robodojo-benchmark.com/LeaderBoard
• Benchmark code: https://github.com/RoboDojo-Benchmark/RoboDojo
• XPolicyLab code: https://github.com/XPolicyLab/XPolicyLab
• Community: https://robodojo-benchmark.com/community

这不仅仅是一个新的 Benchmark，更像是为具身智能领域树立了一座“珠峰”：

• 42个仿真任务
• 18个真实机器人任务
• 30个主流机器人策略同台竞技
• 覆盖 泛化、记忆、精细操作、长程执行、开放语义理解五大核心能力

结果既直接又残酷：

当前最强的通用机器人策略，在仿真环境中的平均成功率仅为 8.80%。而在真实世界中，表现最好的模型平均成功率也仅为 12.8%。

相比之下，人类专家的表现如何？在仿真中为 76.03%，在真实世界中达到 100%。

机器人基础模型们看似已开始攀登具身珠峰，但 RoboDojo 的榜单显示：它们大多还停留在山脚，正在适应“高反”。

任务设计：这座山为何如此艰难？

RoboDojo 的难点，不在于简单堆砌任务数量，而在于它将机器人操作能力拆解为一组更贴近真实世界的“登山关卡”。

在仿真环境中，RoboDojo 设计了 42 个任务，围绕以下五个核心能力展开：

1. Generalization（泛化能力）：考察模型能否适应新的背景、光照、物体以及复杂杂乱的场景。
2. Memory（记忆能力）：考察模型能否记住先前观察到的信息，并在后续动作中有效利用。
3. Precision（精细操作）：考察模型能否完成插入、对齐、精确接触等高难度动作。
4. Long-Horizon（长程执行）：考察模型能否完成多步骤、强依赖且误差易累积的任务。
5. Open（开放语义理解）：考察模型能否理解未见过的开放语义指令，并将语言目标转化为具体动作。

这些任务绝非简单的 Pick-and-Place（抓取-放置）变体：

• 泛化任务：桌面上杂物最多可随机增加至 25 个，背景、光照、物体外观及布局均会发生变化。
• 记忆任务：机器人需记住传送带上曾出现但随后消失的物体，并从后续候选物中选出匹配目标。
• 精细操作任务：涉及插管、对齐、插入等高容错率动作，稍有偏差即告失败。
• 长程任务：更接近真实家务场景。机器人需连续完成多个子步骤（拿起、移动、交接、对齐、放置），每一步引入的误差都会累积至最终结果。

但 RoboDojo 并未止步于仿真。

真正让这座“具身珠峰”变得高耸的，是它将评测扩展到了 真实机器人领域。

RoboDojo 设计了 18 个真实世界任务，覆盖 ARX X5、Piper、Piper X 三种双臂机器人平台，每个平台各 6 个任务。

这些任务并非仿真任务的简单复刻，而是专门用于考察机器人在真实物理世界中的部署能力：

• ARX X5：盖积木、做面包、制作食物、装水果并倒出、保险箱收纳、插管等。
• Piper：堆叠并盖住积木、填笔筒、物体入篮、插充电器、叠碗、扶正瓶子等。
• Piper X：物体分类、拆乐高、挂杯子、物品入背包、清扫积木、盖笔帽等。

这些看似日常的任务，对机器人而言却充满挑战。因为真实世界充满物理不确定性：物体可能滑动、夹爪可能失稳、机械臂存在微小延迟、相机存在噪声、接触瞬间可能推偏目标。

更重要的是，RoboDojo-RealEval对真机评测进行了标准化：

• 统一硬件配置、工作空间布局、光照条件、场景复位流程、评测协议和部署接口。
• 每次测试前，根据预设布局复现场景。
• 每个 Trial 由三名评审进行双盲打分，既评估最终结果，也考察中间步骤的完成情况。

这意味着，RoboDojo 的真机部分不是“拍摄几个 Demo 视频”，而是将真实机器人操作转化为 一套可复现、可比较、可远程接入的标准化考试。

换言之，RoboDojo 不仅在仿真中询问机器人“你会不会做题”，更在真实世界中追问：换一台机器人还稳不稳？真实接触来了会不会抖？物体偏一点还能不能修正？任务中途出错能否恢复？离开仿真训练场，还能否继续攀登？

这才是“具身珠峰”的真正含义：不是单点能力的登顶，而是仿真诊断和真实部署两条路线均不能掉链子。

榜单揭晓：差距赤裸裸地摆在桌面

RoboDojo 的核心在于其公开排行榜。

这与许多“自家模型自家测”的评测截然不同：

• 发起方：由全学术机构联盟发起并维护。
• 利益关联：背后无商业模型方利益绑定。
• 治理方：由公益性组织 AI MMLab Club 基金会负责。

这座“具身珠峰”不是某家公司为自己修建的观景台，而是面向整个社区开放的公共登山路线。

在仿真榜单中，团队集成并评测了 30 个代表性机器人操作策略，包括 Hy-Embodied-0.5-VLA、Spatial Forcing、π0.5、X-VLA、GR00T-N1.7、π0、OpenVLA-OFT 等。

• 榜首：Hy-Embodied-0.5-VLA，平均分 13.07，平均成功率 8.80%。
• 紧随其后：Spatial Forcing、π0.5、X-VLA 等模型。

整体表现依然处于极低区间。即便是领先模型，在五大能力维度上也未出现真正的“全能选手”。有的模型泛化能力较强，有的精细操作更稳，有的长程任务能推进更多步骤，但一旦放入完整榜单审视，短板便暴露无遗。

RoboDojo 揭示了一个关键信息：今天的机器人模型并非“不会动”，而是 不够稳；并非完全无法完成任务，而是 很难稳定地完成全流程。

许多策略可以完成部分步骤，但最终成功率极低。例如在长程任务中，机器人可能已拿起物体并移至目标附近，却在最后的对齐、插入、放置或恢复阶段失败。

这也是具身智能与纯语言、纯视觉任务的最大差异：在物理世界中，差一点就是失败。

真实世界榜单：更加扎心

如果说仿真是“训练场”，真实机器人评测则是“珠峰实地”。

在真实世界榜单中，表现最好的模型是 π0.5，总体成功率 12.8%，平均分 22.9。

头部梯队包括 InternVLA-A1、GalaxeaVLA、Xiaomi-Robotics-0、X-VLA 等，但整体成功率仍仅在个位数至十几百分点之间。

这揭示了一个关键问题：仿真中排名靠前，不代表在真实世界中一定稳健。

真实机器人引入了额外困难：相机噪声、标定误差、机械臂延迟、接触不稳定、动作抖动、安全边界限制、物体初始位置的微小偏差。这些因素在 Demo 视频中往往被隐藏，但在标准化评测中会集中暴露。

RoboDojo 的意义正在于此：它不只问“机器人是否成功”，而是追问：

这个策略能否在仿真中通过全面性考察，同时在现实世界中能够直面挑战？

为何称其为“具身珠峰”？

从结果来看，RoboDojo 暴露出一个现实判断：当前机器人基础模型的能力增长并不均衡。

• 有些模型擅长目标识别；
• 有些模型动作执行更顺畅；
• 有些模型在长程任务中能推进更多步骤。

但真正的通用机器人，不能仅在单一维度上强大。它需要：

• 看得懂，也记得住；
• 规划正确，手上精准；
• 既能处理熟悉任务，也能理解开放指令；
• 既要在仿真中跑通，也要在真实机械臂上稳定执行。

RoboDojo 的实验结果显示，当前模型在这些维度上仍存在明显短板。

最典型的是 Open（开放语义）任务。即使是最强模型，在开放语义任务上的成功率也仅为约 1.67%。

这意味着，当前机器人基础模型距离 真正“听懂人话并可靠干活”仍有显著差距。它们可以在熟悉任务上进行模仿，但面对新目标、新语义、新组合时，语义理解、视觉定位、技能选择和动作执行这条链路依然脆弱。

这正是具身珠峰的难点：不是单点能力登顶，而是所有能力均不能掉链子。

不仅是评测，更是一套基础设施

RoboDojo 还有两个重要组成部分：

1. 异构并行仿真：
   传统仿真并行往往仅复制同一场景并修改初始位置；RoboDojo 支持不同任务、不同物体、不同布局同时运行，大幅提升评测效率。

2. XPolicyLab：
   这是 RoboDojo 背后的“统一接入层”，旨在解决机器人策略评测中的工程难题：不同模型拥有不同的数据格式、预处理流程、训练脚本、动作表示和部署环境，将其放入同一榜单进行公平比较的工程成本极高。

XPolicyLab 的作用是将这些外部流程标准化。它提供统一的数据转换、训练模板、部署流程和评测脚本，同时保留各策略本身的模型结构和实现方式。

这样，不同的机器人策略只需接入统一的 Observation-Action 接口，即可在 RoboDojo 的仿真环境和 RoboDojo-RealEval 真机平台上运行。

本次论文中，团队已通过 XPolicyLab 集成了 30 个代表性机器人操作模型。

对研究者而言，这意味着模型可以 “一次接入，多处评测”：先在仿真中快速迭代、诊断能力短板，再部署到真实机器人上接受标准化测试。

因此，RoboDojo 不仅是论文中的静态 Benchmark，而是一个 可持续更新的具身智能竞技场。模型可不断上榜，任务可持续扩展，真实机器人评测也可远程接入。

对于机器人基础模型领域而言，这至关重要。因为在通往通用操作机器人的道路上，大家不仅需要更大的模型、更炫酷的 Demo，更需要一套能反复衡量进步的 “海拔尺”。

具身智能，终于有了更高的山

过去，机器人领域常被 Demo 驱动。一个模型能完成几个漂亮任务，极易让人产生“通用机器人即将到来”的错觉。

但 RoboDojo 给出的结论更为冷静：当前模型确实在进步，但距离可靠、泛化、可部署的通用机器人操作，仍有很大差距。

这并非坏消息。

恰恰相反，RoboDojo 将问题摆清楚了：谁能泛化？谁会遗忘？谁动作抖动？谁只会做一半？谁在真实世界掉队？谁能在榜单上攀升？

具身智能终于不再只是比拼宣传片，而是开始比拼标准化赛道上的真实成绩。

这座“具身珠峰”已经矗立。接下来，就看谁先登顶。

项目负责人介绍

陈天行
* 香港大学 MMLab 直博生，师从罗平教授。
* 在 ICML、CVPR、ICLR、RSS 等领域顶会发表论文十余篇，获多项顶会研讨会最佳论文奖及学术竞赛冠亚军。
* 获红杉中国与《麻省理工科技评论》中国评选 AI25（25岁以下AI创新青年先锋）、深圳大学特奖（学生最高荣誉）、CCF优秀大学生（全国仅99人）。
* RoboTwin 2.0 第一作者、头部具身开源社区 Lumina 创始人，开源项目累计获 GitHub 近两万星。

陈越
* 北京大学硕士研究生，主要研究方向为三维视觉表征与机器人仿真。
* 迄今发表 CCF A 类、CAAI A 类高水平论文 10 余篇，多篇成果以 Oral、Spotlight 形式收录，相关工作获 CVPR、IROS 等国际会议研讨会最佳论文奖项。
* 曾获评国家奖学金、北京大学三好学生荣誉。

未来扩展

RoboDojo 团队后续将持续输出 灵巧操作、移动操作、触觉操作、人型全身操作等评测，欢迎大家持续关注。

相关文章