香港大学与字节跳动联手：教机器人"看"人类动作来学习新技能

发布时间：2026-07-17 07:07:39 来源：安智兰德资讯网 作者：综合

这项由香港大学HKU-MMLab与字节跳动Seed团队联合开展的香港习新前沿研究，以预印本形式于2026年6月26日发布在arXiv平台，大学论文编号为 arXiv:2606.28133。字节作学感兴趣的跳动研究者可通过该编号获取完整论文，深入探索机器人技能迁移的联手类动最新突破。

研究直击一个核心痛点：既然互联网上充斥着人类做家务、教机技整理厨房的器人视频，能否让机器人直接通过“观看”这些视频来习得新技能？看人这一愿景极具吸引力，但实现过程中存在巨大的香港习新技术陷阱。研究团队不仅精准定位了这一陷阱，大学更提出了一种巧妙的字节作学解决方案，成功绕过了传统模仿学习的跳动瓶颈。

一、联手类动 机器人学徒的教机技困境：为何直接“模仿”人类动作行不通？

想象一下，你是器人一名厨房学徒，师傅让你通过观看前辈切菜的视频来学习刀工。前辈使用的是专业大厨刀，而你手中只有一把普通水果刀。即便你完美复刻了前辈手腕的每一个扭转角度，结果可能依然糟糕——因为刀具形状不同，适合大刀的握法对水果刀而言完全失效。

双臂机器人与人类的关系正是如此：
* 结构差异：机器人的末端执行器通常是两个平行夹爪，而人类拥有五指，能灵活捏、握、钩、绕。
* 姿态误导：当计算机视觉从视频中提取人类手腕的“姿态”（位置+朝向）并让机器人模仿时，人类手腕的旋转是为了配合手指抓握，而机器人夹爪无需此角度。强行模仿会导致夹爪指向错误方向，甚至夹取空气。
* 噪声干扰：从视频中估算手腕旋转角度本身存在误差，如同测量颤抖物体。将这些带有噪声的旋转数据输入机器人，会导致其做出扭曲、怪异的动作，偏离任务本质。

实验验证了这一假设：直接将包含旋转信息的六自由度人类腕部动作输入机器人时，机器人会出现变形、偏离目标的异常姿势，无法完成任务。

二、 关键洞察：舍弃旋转，保留平移

研究团队发现了一个关键共性：无论人类还是机器人，操作物体时手腕（或夹爪）在空间中的移动轨迹（平移）是高度一致的。

• 平移的一致性：打开微波炉门，手需向前伸向把手；擦拭台面，手需横向移动。这种“A点到B点”的路径，对两者而言物理含义相同。
• 旋转的差异性：到达目标位置后，手腕朝向及手指弯曲方式，才是人类与机器人的根本差异所在。

基于此，团队提出了“桥接动作”（Bridging Action）概念：
1. 定义：仅记录手腕/夹爪在三维空间中的平移轨迹，彻底丢弃旋转信息。
2. 实现方式将手腕在世界坐标系中的位置，投影至机器人头部摄像头画面坐标系，记录其相对于当前位置的位移变化。
3. 通俗理解：如同GPS导航只记录“向北走50米，向东走30米”，不关心步态或身体朝向。它只关注“路径”，不关注“姿态”。

“桥接动作”的三大优势：
1. 低噪声：平移信息比旋转信息更易从视频中准确提取。
2. 通用性：平移轨迹对人类和机器人具有相同的物理意义。
3. 共性捕捉：不同夹持机构在执行相同任务时，确实遵循相似的平移轨迹。

三、 搭建“翻译桥梁”：异构数据共存模型

仅有概念不够，还需解决工程难题：人类数据仅有平移信息，而机器人需要完整的六自由度指令（位置+旋转）及夹爪控制信号。如何让统一模型处理这些异构数据？

团队构建了一个基于大型视觉-语言-动作模型的系统，架构借鉴自 π?模型，采用“大厨”与“炒锅师傅”协作模式：
* 大厨（视觉-语言模块）：理解食材（视觉/语言指令）。
* 炒锅师傅（动作生成模块）：输出具体操作动作。

1. 交错动作序列表示法

为兼容不同数据源，团队设计了“交错动作序列”：
* 时间步结构：[三维平移桥接信息] + [六自由度末端执行器动作] + [夹爪开合信号]。
* 掩码机制：人类数据缺失后两段，机器人数据三段齐全。通过注意力机制掩码（类似“忽略标签”），模型自动跳过缺失部分，避免数据不完整导致的错误。

2. 训练策略优化

• 意图优先：三维平移信息置于序列前端。模型生成机器人动作时，可“回溯”已生成的平移信息，利用从人类数据中学到的运动知识指导控制指令。
• 数据增强：在训练机器人数据时，随机加入或替换平移信息作为目标。这迫使模型建立“桥接动作”与“可执行机器人动作”间的强关联，如同反复练习中译英，确保翻译自如。

四、 三阶段训练：从海量人类数据到精准技能

训练过程分为三个阶段，逻辑清晰，由宽泛到精准：

1. 第一阶段：大规模人类数据预训练
2. 数据：约600小时人类手部操作数据（70小时EgoDex公开数据 + 500小时外包家务视频 + 45小时VR采集数据）。
3. 目标：仅预测三维平移桥接动作，不涉及机器人控制。

4. 目的：积累操作知识，理解“打开微波炉”、“擦桌子”等动作的空间运动模式。

5. 第二阶段：人机数据联合训练

6. 数据：加入约72小时通用机器人抓取-放置数据（100+物品）及每任务约3小时的任务专属人类数据。
7. 目标：激活平移、六自由度、夹爪三种损失函数。

8. 目的：学习如何将操作意图转化为具体的机器人控制信号。

9. 第三阶段：少量机器人数据精调

10. 数据：每任务采集100条遥操作轨迹，精调时仅使用10条。
11. 目的：验证预训练对数据效率的提升效果，实现快速技能适配。

五、 实验结果：15项任务，真实机器人验证

团队在 ByteMini双臂移动操作机器人上进行了系统评测。该机器人配备两条7自由度机械臂、平行夹爪及RGB-D摄像头。

1. 评测任务

涵盖15项不同难度任务，分为四组：
* 微波炉任务（6项）：开关门、存取碗、擦拭顶面（左右向）。
* 抽屉任务（2项）：开关抽屉。
* 杯具任务（4项）：挂马克杯/叠杯子（左右侧）。
* 其他任务（3项）：插吸管、取吐司、拔充电器。

2. 评分标准

• 成功率：任务是否完成。
• 进度分：细化评估，即使未完全成功，根据进展（如是否够到门把手）给予分数。

3. 核心数据对比

4. 桥接动作 vs. 完整六自由度

• 六自由度人类动作：进度分34.67%，成功率12.50%。机器人常出现扭曲、偏离的奇怪姿势。
• 三维平移桥接动作：进度分44.58%，成功率22.50%。机器人行为自然流畅，末端执行器指向准确。

六、 深入探究：预训练价值与性能上界

1. 预训练提升数据效率

• 无预训练：仅用10条机器人数据精调，进度分53.79%，成功率35.83%。
• 有预训练：进度分提升至71.21%，成功率达到55.00%。
• 结论：即使机器人未见过可执行指令，仅学习人类平移轨迹，也为后续快速掌握完整技能奠定了坚实基础。

2. 损失函数收敛分析

人类预训练仅优化平移损失，但初始化后的模型在联合训练时，六自由度和夹爪损失收敛更快、更低。证明平移动作与六自由度动作在优化目标上具有天然相似性——学好平移，事半功倍。

3. 性能上界分析（思想实验）

将任务专属机器人数据（每任务100条）转换为纯平移格式，消除视觉差异和噪声。
* 理想结果：进度分73.54%，成功率55.83%。
* 启示：桥接动作作为知识迁移媒介有效。当前瓶颈主要来自视觉差异和人类数据噪声，随着采集技术和视觉对齐方法改进，提升空间巨大。

七、 局限性与失败案例：诚实面对“翻译”的代价

研究团队坦诚指出了方法的局限性，典型失败案例包括：
1. 插吸管：需精准抓住细小物体。
2. 开抽屉：需握住把手后进行特定方向腕部扭转以建立拉力。

根本原因：旋转信息的缺失。
如同前文比喻，记录路径可学会“走到哪里”，但若需“拧开瓶盖”等精确旋转动作，仅靠路径信息不足。团队指出，未来工作将探索引入少量可靠旋转信息，以补充此类技能。

此外，机器人对薄片状物体拾取能力下降，归因于视觉差异及人类数据噪声积累。

总结

这项研究的核心贡献在于：找到了人类操作知识与机器人控制指令之间真正的共通点——“手在空间中如何移动”。

• 创新点：通过“桥接动作”舍弃不可靠的旋转信息，专注于可靠的平移轨迹。
• 价值：不依赖昂贵的机器人演示数据，不解决手部旋转估计难题，而是利用海量廉价人类视频转化为实用技能。
• 展望：未来家用机器人有望通过观看普通家务视频习得技能，无需为每个新任务单独编程。尽管从实验室到家庭场景仍有距离，但这一步让目标更加清晰。

延伸阅读：有兴趣深入了解技术细节的读者，可通过 arXiv 编号 2606.28133查阅完整论文。

Q&A

Q1：桥接动作（Bridging Action）到底是什么意思，和普通机器人动作有什么区别？

A：桥接动作是一种简化的动作表示方式，仅记录手腕在三维空间中的位置移动轨迹，去掉了旋转方向信息。
* 普通机器人动作：6个维度（3个位置 + 3个旋转）。
* 桥接动作：3个维度（仅位置）。
* 优势：人类和机器人在“手往哪里移动”上是一致的，但在“手朝哪个方向转”上因夹持机构不同存在根本差异。去掉旋转可避免将错误的旋转习惯从人类数据迁移给机器人。

Q2：为什么从视频里直接学习人类动作之前没人这样做过？

A：实际上已有许多研究尝试从人类视频学习技能，但主流做法是提取人类手腕的完整姿态（含旋转）并直接模仿。
* 本研究的新颖之处：指出了旋转信息的两大根本问题：
1. 视频中提取旋转信息本身不准确，噪声大。
2. 人类旋转手腕是为了配合手指抓物，与机器人夹爪工作方式完全不同，直接模仿反而有害。
* 结论：去掉旋转、专注于平移，看似“退步”，实则带来了更好的效果。

Q3：这套方法训练出来的机器人能完成哪些任务，成功率大概是多少？

A：团队在15个双臂操作任务上进行了评测，包括开关微波炉门、存取碗、擦拭台面、开关抽屉、挂/叠杯子、插吸管、取吐司、拔充电器等。
* 最佳成绩：在三阶段完整训练（大规模人类预训练 + 联合训练 + 每任务10条机器人精调）后，整体平均成功率约为60%，任务进度分约为72%。
* 差异说明：不同任务差异较大。微波炉开门等任务成功率可达100%；而插吸管等需要精确旋转的任务成功率较低，约为20%。

相关文章