机器人看视频学操作！伯克利首次打通互联网视频到灵巧手真机部署链路

发布时间：2026-07-17 06:34:57 来源：安智兰德资讯网 作者：探索

新智元报道

【导读】仅需单目RGB视频，机器机部Do as I Do技术成功将人类日常操作转化为 Sharpa Wave灵巧手可执行轨迹，视频首次手真署链填补了类人灵巧操作从“视频数据”到“机器人实机执行”的学操关键数据缺口。

人类掌握精细操作技能，作伯往往始于“观察”。克利

儿童通过观看他人打蛋、打通倒水或钉钉子，互联便能通过模仿习得这些动作。网视然而，灵巧路当前机器人学习主要依赖“实践”，机器机部如高成本的视频首次手真署链遥操作、大量仿真训练或特定场景下的学操真机数据采集。

事实上，作伯互联网上已存在海量可供机器人“观看”的克利数据——YouTube视频、第一视角数据集及生成式视频中，打通充斥着丰富的人手与物体交互素材。真正的瓶颈并非数据匮乏，而是数据转换能力：如何将充满噪声的单目RGB视频，转化为多指灵巧手能够精准执行的动作轨迹？

加州大学伯克利分校（UC Berkeley）团队提出了一套端到端解决方案，成功打通了从网络视频生成真实灵巧手实机执行轨迹的完整链路：首先从真实场景的单目RGB视频中重建4D手-物交互过程，随后将这些交互轨迹重定向至拥有22个自由度的 Sharpa Wave灵巧手。

论文链接：https://arxiv.org/abs/2606.19333
项目链接：https://do-as-i-do.com/

该流程在20类操作动作中生成并验证了500条轨迹，并在双UR3e机械臂+双Sharpa Wave灵巧手平台上，以50Hz的控制频率成功部署了10个真实任务。

核心挑战：“看见”不等于“会做”

要实现灵巧机器人数据的规模化，必须克服以下三大结构性难题：

1. 单目RGB视频中的手-物交互难以稳定重建

真实场景视频常伴随运动模糊、遮挡及深度歧义，且物体种类繁杂。像 FoundationPose这类跟踪方法在轻微模糊下极易丢失位姿锁定；而部分联合重建方法则过度依赖实验室环境，或仅能处理预设类别的物体。若缺乏稳定的4D手-物重建，人类视频数据便难以直接用于机器人学习。

2. 带噪声的参考轨迹导致动作重定向失效

现有的动力学感知动作重定向方法（如 SPIDER或基于强化学习的方法）通常假设输入为干净的动捕（MoCap）真值数据。然而，从网络视频重建的参考轨迹往往存在时间不连续、接触关系错位甚至物理上不可行的初始状态。实验表明，直接使用基于采样的优化方法处理此类噪声轨迹，失败率高达 75%。

3. 遥操作难以规模化

虽然遥操作能提供真实机器人数据，但其成本高昂，依赖专业人员、专用设备，且需针对具体任务逐一采集。仅靠遥操作，难以覆盖一小时人类做饭视频中的丰富操作，更遑论整个互联网的海量视频数据。

因此，Do as I Do旨在回答一个核心问题：仅凭单目RGB视频，不预设抓取先验，不限定刚性物体类别，机器人能否从“看到”走向“做到”？

解决方案

Do as I Do的处理流程分为两个关键阶段：

阶段一：利用引导式扩散模型稳定物体跟踪

SAM 3D可为单帧图像生成物体网格，但若逐帧独立处理，结果易发生漂移且缺乏时间连续性。

Do as I Do采取以下策略：
1. 锚定帧固定：选定一帧作为锚点，固定物体形状。
2. 流匹配去噪：在后续帧的处理中，引导当前帧位姿采样向上一帧靠拢，在保持形状一致性的同时获得连续位姿轨迹。
3. 自适应调整：结合2D点跟踪估计的物体旋转速度，动态调整位姿，避免跟踪僵硬及错误翻转。

在150个真实场景视频的人工对比评估中，67%的样本中，评估者认为 Do as I Do的跟踪效果优于 FoundationPose，且多位评估者意见一致。

阶段二：面向噪声参考轨迹的稳健动作重定向

在 SPIDER的采样/MPPI优化框架基础上，Do as I Do引入了三项关键设计，以应对从网络视频重建出的噪声参考轨迹：

• 噪声鲁棒性优化：针对时间不连续和接触错位进行特殊处理。
• 物理一致性约束：过滤物理上不可行的初始状态。
• 自适应平滑：减少轨迹抖动。

综合改进后，Do as I Do在带噪声的真实场景参考轨迹上，将动作重定向成功率从 25%提升至 71%。

实验结果

重建能力基准测试（SOTA）

动作重定向基准测试

500条已验证轨迹的数据来源

该方法覆盖了 20类贴近人类日常生活的复杂操作动作，包括：放置、拿取、擦洗、涂抹、挤压、熨烫、刷涂、除尘、挖掘、擦除、倾倒、书写、搅打、搅拌、戳刺、压实、钻孔、锤击、切割和刷酱汁。

实机部署

这些轨迹并未止步于仿真。研究团队从中选取了10项代表性动作，部署于 双UR3e机械臂 + 双Sharpa Wave灵巧手平台，以 50Hz控制频率完成了实机执行。

• 多样化抓握：涵盖书写式三指抓握、力量抓握、掌侧抓握和平行伸展抓握。
• 高性能硬件：Sharpa Wave拥有22个自由度，尺度接近人手，更利于人类动作迁移。其超过 4Hz的手势切换频率和 50N指尖力，足以支撑搅打、搅拌、锤击等需要双手配合的高力度、高速度动作，这是传统平行夹爪难以实现的。

从重建、仿真（MuJoCo Warp，200Hz）到真实部署，研究团队始终将 Sharpa Wave作为动作重定向的目标手型。由于该手型更接近人手，系统从人类动作迁移到机器人执行时的形态差异更小。例如，EgoScale也将人类手部关键点重定向至此手型，CAIP则在 Dexmate Vega+双Wave平台上进行了评估验证。

筛选手册：为何95%的网络视频无法直接使用

对于希望规模化利用人类视频数据的团队（如 EgoScale等方向），Do as I Do团队提出了重要警示：视频并非越多越好，数据筛选至关重要。

研究团队分析了 100DOH数据集中的2000个10秒视频片段（已进行过手-物交互筛选）：

结果显示：若不对原始视频进行预处理，直接投入机器人学习，真正可用的数据仅剩约 二十分之一。

Do as I Do总结出的数据筛选要点包括：
1. 检查手和物体是否始终在画面内。
2. 确认动作是否跨越镜头切换。
3. 排除相机运动过大的片段。
4. 识别 SAM 3D可能失效的情况。

这套筛选流程将成为打通“人类视频到机器人执行”链路的基础环节。

结论：人类视频正在成为机器人数据

长期以来，“Do as I Do”仅是AI领域的一个理想：让机器人看懂人类示范并迁移动作。而 UC Berkeley的这项研究正将其变为现实：输入一条视频链接，系统即可重建其中的手-物交互过程，并将其转化为 Sharpa Wave可执行的动作轨迹。

从某种意义上说，世界上最大的操作数据集早已存在——它们就藏在人们每日拍摄、上传和分享的视频中。Do as I Do的使命，正是将这些视频转化为灵巧手能执行的22个自由度关节轨迹。

观看，重建，重定向，然后在真实机器人上执行。

参考资料：
https://do-as-i-do.com/

编辑：LRST

相关文章