阿里让机器人学会"边走边干活"：一套真正理解世界的全新大脑系统

发布时间：2026-07-18 03:27:50 来源：安智兰德资讯网 作者：焦点

2026年7月，阿里阿里巴巴集团AMAP CV Lab发布了一项突破性研究，让机成果以arXiv预印本形式公开（编号：arXiv:2607.00678），器人核心代码已在GitHub开源。学会新这项研究针对机器人“移动+操作”协同难题，边走边干提出了名为ABot-M0.5的活套全新系统。该系统核心创新在于引入了世界行动模型（World Action Model,真正 WAM），使机器人不仅能感知当下，理解更能基于对未来的世界主动预见来规划行动，从而突破传统机器人在复杂动态环境中的脑系局限。

一、阿里 痛点解析：现有机器人控制的让机“三道错位之墙”

尽管家务机器人愿景诱人，但让机器人一边移动一边精准操作（如边走边取物）仍极具挑战。器人当前主流的学会新视觉-语言-行动模型（VLA）属于“当下反应型”大脑，缺乏对未来的边走边干预判能力，导致长距离移动后操作精度大幅下降。

为解决此问题，研究者提出了“世界模型”概念，但在面对“移动+操作”复合任务时，现有系统面临三大结构性缺陷：

1. 时间粒度错位：现有世界模型通常以“视频块”预测未来，粒度粗糙，无法捕捉抓取瞬间所需的帧级精细动作信号，导致接触时机和力道调整丢失。
2. 行动结构错位：底盘移动（低频、宏观）与手臂操作（高频、微观）特性迥异。强行在单一网络中联合学习，如同要求人同时写楷书和打鼓，导致信号相互干扰，两者表现均不佳。
3. 训练与实战错位：训练时模型依赖“标准答案”（真实未来帧），而推理时只能依赖自身预测（含噪声、模糊甚至错误）。这种“考场”与“实战”的差距导致模型在真实部署中频繁失手。

ABot-M0.5的设计旨在逐一拆除这三道墙。

二、 技术突破一：构建“帧级潜在行动”翻译桥

针对时间粒度错位，团队引入了帧级潜在行动（Frame-level Latent Action）作为视频预测与动作输出间的中间层，即“动作草稿”。

• 工作流程：
• 模型预测未来视觉变化（世界状态）。
• 从预测视频中提取帧间细微变化，编码为紧凑的“动作草稿”向量。
• 将动作草稿翻译为机器人具体的关节角度、速度等执行指令。
• 核心优势：
• 平台无关性：动作草稿基于视觉变化，与机器人具体结构解耦。不同形态机器人（单臂/双臂）执行相似视觉任务时，草稿相似，仅在最后翻译阶段分叉，极大提升了知识迁移能力。
• 数学约束增强：训练专用编码器ALAM时引入“可加性”（位移矢量加法逻辑）和“可逆性”（前后动作抵消逻辑）约束，构建了结构良好的动作草稿空间，使相似物理操作在空间中聚类，不同操作分离。

三、 技术突破二：双层混合变换器架构（D-MoT）

针对行动结构错位，团队设计了双层混合变换器架构（Dual-level Mixture-of-Transformers, D-MoT），通过分层解耦实现高效协同。

1. 任务层解耦：视频预测、动作草稿预测、具体动作预测三大任务拥有独立的输入投影、时间嵌入和输出头，但共享自注意力骨干。如同三位厨师共用厨房，各司其职又信息互通。
2. 执行层解耦：在具体动作子任务中，进一步将“底盘移动”与“手臂操作”分离为两个专属子塔。
3. 必要性：底盘信号低频平滑，手臂信号高频精细。混合训练会导致高频梯度淹没低频信号，造成走路磕绊或操作粗糙。
4. 效果：分离后，两者共享注意力层以协调配合，但独立前馈网络避免梯度干扰。实验显示，该架构使长距离移动操作任务成功率从0.34提升至0.48，训练损失下降更快。

四、 技术突破三：“梦境强制”训练策略

针对训练与实战错位，团队提出“梦境强制”（Dream Forcing）策略，模拟真实推理环境。

• 传统方法缺陷：“教师强制”依赖完美真实帧，差距最大；“扩散强制”虽引入噪声，但噪声分布与推理路径不匹配，增加学习复杂度。
• Dream Forcing机制：
• 生成梦境：让模型首先生成包含误差的“预测视频”（梦境视频）。
• 基于梦境训练：使用这段充满瑕疵的预测视频作为条件信号，训练动作预测部分。
• 两阶段前向传播：第一阶段生成梦境潜在变量；第二阶段用这些带误差的变量替换真实变量，训练动作预测。
• 效率优化：借鉴少步去噪技术，快速生成梦境变量，避免完整多步扩散采样，大幅提升训练效率。
• 直观理解：如同让学生在有噪声、有干扰的模拟考场中练习，使其在真实考试中面对不完美信息时仍能从容应对。

五、 三阶段渐进式训练体系

ABot-M0.5采用递进式训练流程，确保从宏观认知到微观行动的精准对齐：

1. 世界模型预训练：基于5B参数视频生成模型Wan2.2，利用OXE、AgiBot-Beta、RoboCOIN等多源公开数据集进行全参数微调，学习机器人视角的未来场景预测。采用固定“语义槽”策略处理不同摄像头配置，确保梯度传播纯净。
2. 潜在行动模型预训练：专门训练ALAM编码器，利用大量无标注视频数据提取动作草稿。训练完成后冻结编码器，作为固定特征提取器。
3. 渐进式监督微调（SFT）：
4. SFT1：使用真实未来帧，联合训练视频预测、动作草稿预测和动作预测，使级联系统收敛。
5. SFT2：启动“梦境强制”，用模型自预测视频替换真实帧，微调动作预测，实现训练与推理对齐。

工程优化：
* 高效结构化注意力：拆解多流注意力为密集子问题，利用变长FlashAttention核，实现约5倍的前向-反向传播加速。
* 偏移量潜在增强：随机选择视频切片偏移量，增加训练数据多样性。

六、 实验结果：多平台全面领先

ABot-M0.5在多个权威评测平台及真实机器人实验中表现卓越：

1. RoboCasa365（家庭移动操作）

• 全量预训练：平均成功率40.4%，超越Qwen-RobotManip（35.9%）。
• 100%数据精调：平均成功率54.2%，超越Lingbot-VA（45.1%）。在组合未见任务（最难子集）上，成功率从32.1%跃升至45.6%。
• 10%低资源设置：成功率30.1%，大幅领先GR00T-N1.5（21.0%），验证了预训练的知识迁移能力。

2. RoboTwin 2.0（双臂操作泛化）

• 清洁场景与随机化场景平均成功率分别为94.0%和94.2%，综合94.1%，超越Qwen-RobotManip（93.85%）。

3. LIBERO系列（桌面操作）

• LIBERO综合：成功率99.4%，位列第一。
• LIBERO-Plus（零样本鲁棒性）：在WAM类方法中取得最佳总体成功率83.4%。在机器人形态变化测试中，以87.4%大幅领先ImageWAM（50.3%）。

4. 真实机器人实验

• 使用6自由度单臂机械臂，仅收集50条示范数据。
• 精细操作：“圆柱插孔”成功率70%（Fast-WAM为30%），过程分数96%。
• 长距离多步骤任务：整理盘子、摆放水果、叠杯子、摆放花卉成功率分别为70%、80%、80%、60%，远超Fast-WAM的20%-40%。
• 过程分数：所有任务均超过88%，表明机器人即使未完全成功，也能稳健推进大部分步骤，极少中途失控。

七、 消融实验：组件必要性验证

团队通过拆解实验验证了各模块的关键作用：

• 动作草稿架构：最终采用的“三阶段完全分离方案”成功率达94.00%，显著优于基准方案（87.60%）及其他拼接方案。加入条件丢弃反而降低性能，证明级联架构下训练与推理一致性至关重要。
• 梦境强制效果：仅需5k步训练，梦境强制将成功率推至70.56%，优于教师强制训练10k步的68.90%，以一半计算量获得更好结果。
• 预训练重要性：在10%低资源设置下，从预训练权重微调的成功率为49.0%，而从Wan2.2直接微调仅为17.8%。注意力热图显示，预训练使模型注意力从分散背景聚焦至目标物体与机械臂交互区，显著抑制背景干扰。

Q&A 深度解读

Q1：ABot-M0.5的“梦境强制”与普通训练有何本质区别？
A：普通“教师强制”依赖完美的真实未来帧，导致模型在推理时面对自身预测误差（噪声、模糊）时适应不良。“梦境强制”在训练阶段就使用模型自生成的、带有误差的预测视频进行训练，使模型提前“习惯”不完美输入，从而在真实部署时能稳健决策。简言之，是用“不完美的彩排”替代“完美的彩排”，提升实战鲁棒性。

Q2：为何引入“帧级潜在行动”，不直接从视频预测动作？
A：视频预测是粗粒度的（多帧打包），而动作控制需逐帧精细信息（如接触时机、抓握力度）。直接预测会导致关键细节丢失。“帧级潜在行动”作为中间层，先从视频提取运动意图草稿，再翻译为具体指令，实现了从粗到精的层层细化，类比于“先理解意思再组织语言”，比直接逐词翻译更准确。

Q3：为何将走路和手臂操作分开训练？
A：底盘移动（低频、宏观）与手臂操作（高频、微观）物理特性差异巨大。混合训练会导致高频操作梯度主导网络，扰乱低频移动信号的优化。D-MoT架构通过分离独立子塔避免梯度干扰，同时共享注意力层保持信息协同，实现了“各司其职”与“相互配合”的平衡，提升了收敛速度和最终精度。

相关文章