上海人工智能实验室造出了一个"会预见未来"的机器人大脑

发布时间：2026-07-17 15:43:03 来源：安智兰德资讯网 作者：焦点

上海人工智能实验室（Shanghai AI Laboratory）物理智能团队最新研究成果——InternVLA-A1.5，上海实验室造以预印本形式于2026年7月发布（论文编号：arXiv:2607.04988）。人工该系统突破了传统机器人控制的机大脑两难困境，成功将语言理解、器人物理预见与精准行动融合于单一架构，上海实验室造为具身智能迈向通用化提供了关键路径。人工

一、机大脑 核心突破：破解“顾此失彼”的器人机器人控制难题

人类在执行简单指令（如“将橙色试管插入第三号孔”）时，大脑能同步完成语义解析、上海实验室造空间想象与力度预判。人工然而，机大脑现有机器人系统长期受限于两类能力的器人割裂：
1. 语言-视觉模型：擅长理解复杂指令，但缺乏对物理世界的上海实验室造实时感知。
2. 视频预测模型：精通物体运动规律，人工却难以处理抽象的机大脑语言逻辑。

强行合并两者往往导致性能相互削弱。InternVLA-A1.5提出“悄悄学会预见”的创新范式：在训练阶段利用强大的视频生成模型提取物理规律，将其压缩为50个“预见令牌”（Prediction Tokens）；在推理阶段丢弃视频生成器，仅保留令牌，从而在保持毫秒级响应速度的同时，内化了深厚的世界知识。

传统方法的三大痛点

• 能力遗忘：动作训练导致预训练语言模型的理解能力退化。
• 目标干扰：视觉预测、动作生成与语义理解在数学空间上难以兼容。
• 重复造轮子：未利用现有顶级视频生成模型（如Sora、WAN）已掌握的物理先验。

二、 架构设计：三位一体的协同机制

InternVLA-A1.5采用“学者+助手”的双模块架构，通过共享注意力层实现信息交互，通过独立线性层避免干扰。

1. 语言基础巩固：统一“下一个词”范式

系统并未在机器人训练初期冻结语言模型，而是持续进行视觉问答与子任务预测。通过FAST工具将连续动作离散化为“动作令牌”，所有任务（问答、动作、子任务）统一转化为“预测下一个词”的形式。这种统一格式大幅降低了任务间的梯度干扰，保护并增强了语言理解能力。

2. 预见令牌：知识蒸馏的核心

• 机制：引入50个可学习的“预见令牌”，作为当前状态与未来物理规律之间的桥梁。
• 训练：令牌将图像与指令编码为摘要，输入至冻结的WAN2.2视频生成模型（50亿参数）以预测未来4帧。仅更新令牌参数，视频模型参数保持不变。
• 推理：训练完成后，WAN模型被移除，仅保留50个令牌。这使得系统能在0.1秒/步的高速度下，利用内化的物理知识进行决策。

3. 双路动作输出：粗粒度与精度的平衡

• 离散动作令牌：源自语言模型，用于辅助训练收敛。
• 连续动作输出：源自轻量级统一专家模块（约4.6亿参数），通过流匹配（Flow Matching）技术从噪声中推导精确关节角度。推理阶段仅使用此路输出，确保动作的平滑性与实时性。

三、 训练策略：三步走的数据配方

阶段一：语言基础巩固（30万步）

• 目标：让模型在保持语言理解的同时，适应机器人操作场景。
• 方法：混合视觉问答与机器人数据，统一输出格式为文本序列。

阶段二：预见与精准行动（60万步）

• 目标：引入预见令牌与连续动作预测。
• 损失函数：$L_{total} = L_{lang} + L_{video} + 10 \times L_{action}$
• $L_{lang}$：语言交叉熵损失（权重1）
• $L_{video}$：视频预测损失（权重1）
• $L_{action}$：动作流匹配损失（权重10，强调执行精度）

阶段三：针对性微调（6万步）

• 目标：适配特定任务场景。
• 方法：小学习率、小批量数据微调，可选择性保留视频分支以进一步打磨预见令牌。

数据构成

• 机器人操作数据：120万条轨迹，8.61亿帧图像。
• 46%仿真数据（InternData-A1）
• 54%真实数据（AgiBotWorld, UMI, DROID等），采用分层采样策略防止仿真数据主导。
• 多模态理解数据：300万条样本（来自InternVLA-M1），包括视觉问答、定位、轨迹预测等，以15:85的比例与机器人数据混合，确保语言根基稳固。

四、 技术细节：注意力掩码与信息管控

为确保模块间协作而非干扰，团队设计了精细的注意力掩码（Attention Mask）：
1. 语言模型侧：标准因果掩码，仅关注历史信息，保证语言建模的自然性。
2. 助手侧：
* 预见令牌：可读取所有语言上下文。
* 动作令牌：可读取预见令牌与语言上下文。
* 防火墙机制：助手严禁读取离散动作令牌，防止梯度干扰与“抄答案”现象。

五、 性能表现：真实与仿真双领先

1. 真实世界任务测试

与π0.5及Motus系统对比，InternVLA-A1.5在未见指令组合上展现显著优势，证明其具备真正的泛化理解能力，而非死记硬背。

2. 仿真基准测试

在LIBERO、RoboTwin、DOMINO等六大基准中全面领先：
* LIBERO：平均成功率98.9%，超越π0.5（96.9%）。
* LIBERO-Plus：84.8%，展现极强的视觉鲁棒性（光照、视角变化）。
* RoboTwin 2.0：综合平均93.2%，场景稳定性极高。
* DOMINO：零样本27.7%，微调后29.3%，超越此前最佳。
* SimplerEnv：迁移成功率80.8%，领先π0.5超23个百分点。

3. 消融实验验证

• 移除视频预测损失：LIBERO-Plus性能下降6.8%，证明视频监督对视觉鲁棒性的关键作用。
• 移除预见令牌：性能进一步大幅下滑，证实令牌是知识转化的核心接口，而非简单管道。
• 收敛速度：预训练质量更高，下游微调收敛更快，损失更低。

六、 局限性与未来展望

团队坦诚指出当前系统的边界：
1. 时间跨度限制：预见令牌仅覆盖约50帧（数秒）的未来，缺乏长程任务规划能力。
2. 视频模型依赖：知识上限受限于冻结视频模型（WAN2.2）的训练数据。若视频模型缺乏机器人场景数据，预见能力将受限。未来可通过微调视频模型进一步提升效果。

七、 Q&A：技术核心解析

Q1：预见令牌与直接生成视频有何区别？
* 直接生成：需实时运行50亿参数模型，推理慢，无法满足实时控制。
* 预见令牌：训练时通过视频模型蒸馏知识，推理时仅运行50个轻量令牌，速度极快（~0.1秒/步），实现高效决策。

Q2：为何在未见指令组合上表现优于π0.5？
* 语言保护机制：InternVLA-A1.5全程保持视觉问答与子任务训练，保留了预训练模型对语义逻辑的深度理解。面对“橙管插4号孔”等新组合时，能独立解析要素并组合执行，而非依赖记忆。

Q3：训练规模与算力需求？
* 数据：120万条机器人轨迹 + 300万条多模态样本。
* 算力：预训练分三阶段（30万+60万+6万步），批量大小1024，bfloat16精度。RoboTwin微调需24块GPU。建议普通团队基于开源权重进行针对性微调。

结语
InternVLA-A1.5并未重新发明物理知识，而是构建了一个高效的“接口”，让机器人能够调用视频生成领域积累的成果。这种“借智”策略，解决了机器人进入家庭与工厂的最后一道坎——听懂复杂指令并泛化执行。

📄 获取完整论文：arXiv:2607.04988

相关文章