复旦大学、上海交大联手攻克机器人"眼手协调"难题

发布时间：2026-07-17 07:31:10 来源：安智兰德资讯网 作者：百科

由复旦大学数据科学学院、复旦上海创新研究院、大学调难上海交通大学及麦吉尔大学联合攻关的上海手协突破性研究，已于2026年6月28日在预印本平台arXiv正式公开（论文编号：arXiv:2606.29501）。交大机器该团队提出了名为A2World的联手机器人世界模型框架，旨在解决机器人领域长期存在的攻克“眼手协调”难题。A2World不仅让机器人具备视觉感知能力，人眼更赋予其理解“动作与物理后果”之间深层因果联系的复旦能力，实现跨形态、大学调难跨场景、上海手协跨任务的交大机器通用物理知识迁移。

人类在伸手抓取水杯前，联手大脑已预演了手指弯曲、攻克杯子移动及水面晃动的人眼全过程。这种“预演未来”的复旦本能，是机器人从“程序执行者”进化为“物理世界理解者”的关键。A2World正是致力于赋予机器人这种可迁移的“动作-物理世界”理解力。

一、 为何机器人亟需“脑海中的世界模型”？

当前机器人控制主要存在两条技术路线，但均面临瓶颈：

1. 视觉-语言-动作策略（VLA）：如熟练厨师般直接根据画面输出指令。优势在于响应迅速，但缺乏对物理规律的深层理解，场景泛化能力弱。
2. 世界模型模拟：如棋手般在脑中推演。理论上更具通用性，但现有研究常陷入两大误区：
3. 数据脱节：基于通用视频生成模型，未在真实机器人动作数据上深度磨合。
4. 场景局限：仅在单一数据集训练，导致机器人形态和场景见识狭窄，缺乏通用性。

此外，多数预训练仅针对特定下游任务优化，缺乏可复用的“通用物理知识库”。复旦大学团队指出：动作是理解物理世界最天然的监督信号。无论机器人形态如何，“向前推物体”背后的物理规律（位移、形变）是一致的。通过在海量“动作-视觉变化”配对数据中学习，模型可内化物理规律，形成可迁移的知识体系。

二、 两百万条轨迹数据：构建机器人“动作百科全书”

为实现上述构想，团队构建了规模空前的操作数据集：

• 数据规模：涵盖超过210万条机器人操作轨迹。
• 数据来源：整合AgiBot、DROID、OPEN-X、InternData等公开高质量数据集，以及Galaxea、RoboCoin等新兴平台数据。
• 形态多样性：涵盖Franka（单臂）、Genie-1（双臂）、WidowX（轮式）、Unitree G1（双足）等20余种机器人形态。
• 任务复杂度：从简单抓取到精密插接、铰接物体操作及柔性形变处理。
• 视角丰富性：包含固定第三人称视角及手腕第一人称随动视角。

关键技术处理：
1. 统一动作编码：将所有机器人动作统一为“双臂格式”，单臂缺失部分以零补位，确保模型在统一语言体系下理解行为。
2. 数据集一致性批次策略：训练时同一批次数据仅来自同一数据集，避免视角混乱，确保模型先掌握单一视角下的物理规律，再实现跨视角泛化。

三、 A2World核心架构：让模型真正“看懂”动作指挥视觉

A2World基于DiT（扩散变换器）架构，并引入三项关键创新设计：

1. 动作条件化注入（Action-Conditioned Injection）

将未来20步的动作序列编码为紧凑特征向量，叠加至时间步嵌入中。这如同导演给摄影师实时指令，使模型每一层都能感知动作意图，精准预测视觉变化。

2. 多视角联合生成（Multi-View Joint Generation）

• 时间拼接：将多视角视频帧在时间维度拼接，并分配可学习的“身份标签”。
• 跨视角注意力：在各处理层插入跨视角注意力模块，确保不同摄像头视角下的物理状态一致（如正面夹起杯子，侧面同步显示），消除视角矛盾。

3. 摒弃“伪动作标签”

不同于现有研究依赖辅助模型推测“伪动作”，A2World直接使用真实机器人动作标注进行训练，去除了误差累积环节，确保物理知识学习的准确性与可靠性。

四、 从“基础课程”到两大专业应用

预训练后的A2World衍生出两个下游版本，分别面向仿真与控制：

1. A2World-sim：高保真虚拟试验台

旨在替代耗时且高风险的真实机器人测试。
* 滚动预测机制：解决单次仅能预测20帧的限制，通过“接力式”循环预测实现长程任务模拟。
* 姿态引导历史采样：根据末端执行器运动弧长，智能选取最具代表性的历史帧，平衡计算量与信息完整性。
* 自我强迫训练（Self-Forcing）：训练时故意使用模型自身生成的瑕疵帧作为输入，提升模型在误差累积下的鲁棒性，防止预测漂移。

2. A2World-policy：端到端控制策略

直接输出控制指令，实现自主决策。
* Y字形联合预测结构：视觉分支与动作分支共享自注意力机制，实现跨模态信息交流。视觉分支预测“世界变化”，动作分支据此计算“最优动作”。
* 差异化噪声扰动：视觉与动作分支采用不同比例的噪声缩放（视觉$\sqrt{6}$倍，动作0.5倍），在保持同步的同时各有侧重。
* 灵活引导强度：用户可调节视觉逼真度与动作准确性的权衡比例。

五、 实验验证：数据背后的真实能力

研究团队从生成质量、仿真评估、策略控制及迁移能力四个维度进行了全面验证：

1. 基础生成能力

• 泛化性：在未见过的RoboMind和VIOLA数据集上，仍能生成物理自洽、逻辑连贯的视频。
• 动作响应：在DROID数据集上，能根据指令模拟成功抓取或失败场景；在RoboCoin上，能响应纯脚本化控制指令。

2. A2World-sim 仿真评估

• 指标领先：在LIBERO仿真数据集上，PSNR、SSIM、tSSIM、EPE、cos五项指标均优于Cosmos-Predict2、Ctrl-World等基线。
• 视频质量：在RoboNet数据集上，FVD指标达146.1，远优于第二名（175.3）。
• 分布外迁移：在LIBERO-Plus Spatial测试中，EPE指标从0.2738降至0.1301，显著优于DreamDojo，且能更好保持新场景视觉特征。

3. 真实机器人策略评估

• 虚拟-真实相关性：虚拟成功率与真实成功率斯皮尔曼秩相关系数达0.916，皮尔逊相关系数达0.965，决定系数$R^2$达0.930。这意味着虚拟测试可高效筛选高潜力策略，大幅降低硬件损耗。

4. A2World-policy 控制性能

• 基准测试：在LIBERO基准测试中，平均成功率达98.6%，超越Diffusion Policy (72.4%)、$\pi_0$ (94.2%) 及 Cosmos Policy (98.5%)。
• 迁移能力：在LIBERO-Plus Spatial测试中，动作条件预训练（A-pre, 88.5%）显著优于文本条件预训练（T-pre, 85.8%）及Cosmos初始化（C-init, 80.2%）。
• 真实任务：在Flexiv Rizon 4S双臂机器人上，完成RAM插入、箱子翻转、链条放入等复杂任务，平均成功率全面超越$\pi_{0.5}$和LingBot-VA，尤其在长序列任务中表现稳定。

六、 关键消融实验：设计有效性验证

1. 历史采样策略：姿态引导弧长采样相比无历史注入或滑动窗口，在PSNR、SSIM及EPE上均有显著提升，证明选取运动信息丰富帧的重要性。
2. 预训练方式：动作条件预训练（A-pre）在分布外迁移任务中表现最佳，证明其植入的物理规律理解更具鲁棒性。
3. 视觉-动作耦合：联合训练的A2World-policy随训练推进，视频一致性与动作质量同步提升；冻结视觉分支则导致性能停滞。证实视觉理解与动作控制是互相促进而非竞争关系。

七、 总结与展望

A2World验证了一个核心主张：用真实动作监督世界理解，比文本描述或间接猜测更有效。通过数百万次“动作-视觉变化”配对，模型习得的是接近物理世界运行规律本身的知识，而非特定场景的经验。这把“万用钥匙”既能开启虚拟仿真，也能驱动策略控制。

局限性：
* 预训练数据主要集中于桌面操作，对全身运动、室外环境及人机协作场景的泛化能力尚待验证。
* 视频生成的计算开销较大，实时闭环控制仍需工程优化。

资源获取：
* 论文详情：arXiv:2606.29501
* 项目主页：GitHub (LogosRoboticsGroup/A2World)

Q&A

Q1：A2World是什么，和普通的机器人控制有什么不同？
A：A2World是一个动作条件化的世界模型。普通控制方法（如VLA）类似熟练工人凭经验直接输出指令；而A2World让机器人在“脑海”中先预演动作后果，再执行决策。其核心优势在于这种“预演能力”具有跨机器人形态和场景的迁移复用性。

Q2：A2World-sim能否完全替代真实机器人测试？
A：目前尚不能完全替代，但作为初步筛选工具极具价值。实验显示虚拟成功率与真实成功率高度相关（$R^2=0.930$）。建议先用A2World-sim进行大规模策略筛选，再将高潜力方案送至真实机器人验证，从而大幅节省时间与硬件成本。

Q3：动作条件预训练相比文本条件预训练到底好在哪里？
A：在分布外迁移测试中，动作条件预训练（88.5%成功率）显著优于文本条件预训练（85.8%）。原因在于：给定观测和动作，未来视觉状态是确定的；而给定文本指令，对应动作可能有多种，预训练目标模糊，导致学到的物理规律不够精准，面对新场景时鲁棒性较差。

相关文章