上海AI实验室造出给机器人"体检"的仪器

发布时间：2026-07-18 03:09:38 来源：安智兰德资讯网 作者：休闲

由上海人工智能实验室牵头，上海实验室造联合西安交通大学、机器检清华大学人工智能产业研究院、人体上海交通大学、仪器浙江大学、上海实验室造同济大学及中国科学技术大学共同研发的机器检新型机器人评测体系EBench，以预印本形式于2026年6月发布（论文编号：arXiv:2606.18239）。人体该研究旨在解决当前机器人通用操控策略评估中“唯分数论”的仪器痛点，通过多维度的上海实验室造精细化测试，为机器人能力画像提供全新诊断工具。机器检

一、人体 破局：为何单一成功率无法定义机器人智能？仪器

在人类教育中，两名学生总分相同（如均为80分），上海实验室造其能力结构可能截然不同：一人代数满分但几何不及格，机器检另一人则相反。人体当前机器人领域正面临同样的困境：最先进的“机器人大脑”（通用操控策略）往往仅报告一个综合成功率，却无法揭示其具体擅长领域或潜在短板。

现有测试平台多局限于单一场景（如仅桌面抓取或仅室内移动），缺乏系统性诊断维度。研究团队指出，这种框架性缺陷导致无法回答三个核心问题：
1. 机器人在哪些维度表现强劲？
2. 在何种情况下会失效？
3. 面对未见过的场景、物体或指令时，性能如何演变？

EBench正是为系统性回答上述问题而生，旨在将模糊的综合分数转化为清晰的能力坐标图。

二、 架构：EBench“体检套餐”详解

EBench构建了覆盖9大真实场景（卧室、浴室、厨房、客厅、书房、餐厅、超市、工业环境、物流仓库）的26项操控任务体系，并引入五维标签系统以细化评估颗粒度。

1. 任务分类体系

• 移动抓取与放置（10项）：涉及空间移动与搬运，单次任务约600-1000仿真步。
• 移动长时序任务（9项）：需完成多步骤复杂动作序列，单次任务约3000-5000仿真步。
• 桌面精细操作（7项）：要求毫米级至亚厘米级精度（如插销、拧螺母、安装齿轮），单次任务约1500-3500仿真步。

系统以60Hz物理频率运行，最长任务时长约83秒。

2. 五维标签系统

每个任务均标注以下维度，实现能力的解构：
* 场景类型：具体物理环境。
* 基本动作技能：细分为11类（抓取、放置、推、拉、按压、插入、倒液体、翻转、扫、传递、移动）。
* 时间跨度：短任务（≤2000步）与长任务（>2000步）。
* 精度要求：低精度（误差>10cm）、中精度（1-10cm）、高精度（<1cm）。
* 操作模式：移动模式 vs. 固定精细模式。

三、 数据工程：双轨制数据生产线

为解决精细操作依赖人工示范、长时序任务依赖自动化规划的矛盾，团队构建了并行数据生产线：

1. 精细操作数据（7项任务）：采用“演员跟随”远程操控装置，操作员通过手柄实时复制机器人动作，保留接触直觉与微调能力。累计400个示范片段/任务。
2. 移动/长时序数据（19项任务）：采用cuRobo运动规划算法，操作员仅标注关键路标，算法自动生成平滑无碰撞轨迹。支持多背景、多光照渲染以增强泛化。累计200个示范片段/任务。

最终数据集包含9187万帧画面、6600个完整片段，总时长91.4小时，采用LeRobot格式存储。

四、 测试设计：四重泛化维度与严格隔离

EBench强调对“陌生感”的测试，设计了四种泛化维度，且训练集与测试集在资产层面完全隔离，杜绝死记硬背：

1. 背景泛化：改变纹理、光照，保持物体与指令不变。
2. 物体泛化：替换同类别不同形状的物体，测试物理理解能力。
3. 指令泛化：变换语言描述方式，测试语义理解灵活性。
4. 混合泛化：背景、物体、指令同时变化，模拟极端复杂环境。

数据集规模：
* 验证集：Val-Train（130个分布内片段）+ Val-Unseen（154个陌生物体片段）。
* 测试集：510个片段，覆盖全部四种泛化维度。

五、 评测对象与实验设置

选取四款主流通用视觉-语言-动作（VLA）模型进行公平对比：
* π0 & π0.5：Physical Intelligence开发，基于流匹配生成动作，π0.5具备更强泛化能力。
* XVLA：上海AI实验室等研发，采用模块化解码器分离视觉语言与动作执行。
* InternVLA-A1：上海AI实验室研发，结合强视觉表征与分层规划。

统一训练条件：
* 20万次梯度更新，Batch Size 128，AdamW优化器，峰值学习率1e-5。
* 输入：三视角（左/右/顶）224×224 RGB图像 + 本体姿态 + 自然语言指令。
* 执行策略：预测50步，执行前30步后重新预测，以平衡前瞻性与稳定性。
* 每个模型独立评测3次，报告均值与标准差。

六、 结果分析：总分相似，能力迥异

四款模型综合成功率集中在24.4%-29.5%区间，但拆解后呈现显著差异：

1. 泛化保留率（熟悉 vs. 陌生）

• π0.5：表现最佳。熟悉场景32.1% → 测试集29.5%，保留率0.92，泛化能力最强。
• InternVLA-A1：熟悉场景最高（33.1%），但陌生物体验证集骤降至20.8%，保留率0.83，存在“认脸”现象，过拟合风险较高。
• π0：保留率最低（0.80），过拟合最明显。

2. 操作模式差异

• InternVLA-A1：严重偏科。移动操控成功率~34.7%，但精细固定操作仅5.8%，差距达29个百分点，毫米级接触控制能力缺失。
• π0：最为均衡，移动与精细能力差距仅11个百分点。

3. 精度与时间跨度

• 高精度任务（<1cm）：π0领先（13.8%），其余模型均低于10%。
• 低精度任务：π0.5独占鳌头（44.2%）。
• 长时序任务：InternVLA-A1领先（29.1%），XVLA从短任务的28.9%骤降至13.5%，暴露其模块化解码器在长期规划上的短板。

4. 技能与场景特异性

• 技能分布：无模型能通吃所有11种技能。π0在拉/压上表现优异；XVLA推力强但传递弱；InternVLA-A1在按压/翻转上得0分；仅π0.5无灾难性零分。
• 场景偏好：π0.5胜在卧室/浴室/客厅；InternVLA-A1胜在厨房/餐厅；XVLA胜在超市。

七、 训练动态：泛化能力的演变轨迹

追踪20万步训练过程中的成绩曲线发现：
* π0.5：验证集与测试集曲线同步上升，间距最小，泛化最稳健。
* π0：后期训练曲线间距扩大，表明后期训练更多强化记忆而非提升泛化。
* XVLA：测试曲线波动，存在非单调性，最终恢复至较高水平。
* InternVLA-A1：验证集成绩最强，但测试集间距最大，表明其擅长应对已知分布，而非开拓未知领域。

八、 泛化难度层级：物体替换最具挑战性

在四种泛化维度中，难度呈现明显层级：
1. 低难度：背景变化与指令变化影响较小，成功率维持在27%-35%。
2. 中难度：物体替换导致成功率降至21%-29%，暴露物理理解不足。
3. 高难度：混合泛化（背景+物体+指令）导致成功率进一步降至18%-23%，组合偏移效应显著。

模型表现：π0.5在背景、物体及混合扰动下均表现最强；InternVLA-A1在指令泛化上表现最佳，语言鲁棒性较强。

九、 预训练价值验证：EBench的独特敏感性

通过对比“有预训练”与“从零训练”在EBench、LIBERO、RoboTwin 2.0三个平台的表现，发现：
* EBench：预训练提升显著。π0提升13.2%（11.2%→24.4%），π0.5提升21%（8.5%→29.5%），XVLA提升9%。
* LIBERO & RoboTwin 2.0：任务过于简单，成绩饱和（94%-98%），无法区分预训练效果，甚至出现零训练模型优于预训练模型的反常现象。

结论：EBench是唯一能真实衡量大规模预训练对通用策略贡献的评测平台。

十、 工程洞察：摄像头视角的影响

• π0：偏好头视摄像头（Headview），在精细操作上提升显著（+8.38%），因动作生成头感受野较小。
• π0.5：偏好俯视广角摄像头（Overview），在移动/长时序任务上表现更好，因需更大视野覆盖工作空间。
• 影响量级：视角差异对成绩的影响小于预训练带来的差异，非决定性因素。

十一、 极限挑战：五个“零分”任务

识别出当前所有模型成功率均≤5%的五个“硬核”任务：
1. Shop：超市复杂操作。
2. Bottle：瓶子操作。
3. Peg in Hole：孔插销（高精度要求）。
4. Collect Coffee Beans：收集咖啡豆。
5. Flip Cup Collect Cookies：翻转杯子并收集饼干（需力感知反馈）。

原因：当前开环模型无法处理需要实时接触感知和闭环调整的任务。建议将此子集作为未来模型的压力测试基准。

十二、 统计严谨性：置换检验排除假象

为避免混淆变量（如任务分组偏差），团队使用置换检验（Permutation Test）验证结果显著性：
* 可信差异：InternVLA-A1的移动优势（+30.9%, p=0.008）、π0.5的低精度优势（+37.1%, p=0.030）及插入劣势（-32.1%, p=0.040）均通过检验。
* 需谨慎结论：场景类别间的差异大多未通过检验，因样本量过少，所谓“擅长某场景”可能仅为统计噪声。

结语

EBench的核心价值在于拆解“综合分数”的幻觉。它证明当前最先进的机器人模型并非“全科优等生”，而是存在明显能力天花板和偏科的个体。通过暴露这些隐形短板，EBench为机器人技术的针对性优化提供了精准导航，有助于减少部署后的“露馅”风险。

Q&A

Q1：EBench与LIBERO、RoboTwin等现有评测平台的本质区别是什么？
A：LIBERO和RoboTwin任务相对饱和，从零训练的模型即可达到94%以上成功率，无法区分预训练效果。EBench的核心区别在于：
1. 多维覆盖：同时涵盖移动、长时序、精细操作三大类型。
2. 细粒度标签：为每个任务打上五维标签，将总分拆解为多维能力图谱，具备诊断功能。

Q2：InternVLA-A1综合成绩并非最差，为何称其在精细任务上“崩了”？
A：InternVLA-A1在移动操控上成功率约34.7%（与最强模型π0.5相当），但在精细固定操作上仅5.8%，差距达29个百分点。这表明其能力高度偏科，擅长导航决策但缺乏毫米级接触控制能力。这种严重偏科被综合总分平均掩盖，但在EBench的分维度分析中暴露无遗。

Q3：EBench中哪五个任务所有模型都接近零分？为什么做不了？
A：这五个任务是：Shop、Bottle、Peg in Hole、Collect Coffee Beans、Flip Cup Collect Cookies。
原因：这些任务（特别是孔插销和翻转杯子）要求极高的精度或持续的力感知反馈。当前主流通用模型采用“开环”控制（一次性生成动作序列，中途不调整），无法根据实时接触反馈进行微调，因此在需要闭环控制的场景中彻底失效。

相关文章