刚刚，全球首个具身专属的MoE视频模型，开源了！

发布时间：2026-07-17 12:04:42 来源：安智兰德资讯网 作者：时尚

金磊 发自 凹非寺 | 量子位公众号 QbitAI

具身智能领域迎来重大突破：全球首个面向具身智能的刚刚大规模混合专家（MoE）视频基础模型——LingBot-Video，由蚂蚁灵波正式开源。全球这不仅是首个视频视频生成技术的迭代，更是具身一个专为机器人设计的“视频物理引擎”。

核心亮点：不止于生成，专属更在于“懂物理”

视频演示：点击查看机器人切西红柿、模型吸床单及收纳口红等高精度物理交互视频

与传统视频生成AI不同，开源LingBot-Video并非仅仅追求美学、刚刚画质或运镜效果，全球其核心目标在于严格遵循物理规律。首个视频从架构设计、具身数据构建到训练目标，专属全链路均为机器人及人形智能体量身定制。模型

关键性能指标

• 架构创新：采用MoE架构，开源实现30B总参数与3B激活参数的刚刚极致平衡，大幅降低推理成本。
• 数据壁垒：引入超70,000小时具身相关视频数据，涵盖机器人操作、导航、第一视角等稀缺场景。
• 多维奖励系统：在训练中纳入物理合理性、任务完成度等多维指标，确保生成内容符合现实世界逻辑。
• 性能超越：在RBench基准测试中，性能超越业内通用视频生成标杆模型。

社区评价指出，LingBot-Video的价值远超视频生成本身，其大规模训练赋予模型对现实世界互动的深刻理解。

为什么机器人需要专属视频模型？

通用视频模型（如Sora、Runway等）的训练目标主要聚焦于视觉质量、语义对齐和运动连贯性，旨在取悦人类观众。然而，机器人的认知逻辑截然不同：

1. 因果预测：机器人看到的不仅是杯子，更是“伸手抓取后杯子如何移动”的物理反馈。
2. 空间规划：机器人看到的不仅是道路，更是“行走路径是否会导致碰撞”的安全评估。

因此，内容视频与具身视频存在两套完全不同的评价体系。

(注：图片由AI生成)

在通用模型中，穿模、物体消失或违背惯性等错误，对短视频创作而言仅是瑕疵；但若用于训练机器人，则会导致模型习得错误的物理规律（如认为手可穿透物体、液体可悬空），造成严重的认知偏差。

LingBot-Video旨在通过生成符合真实物理规律的视频，为机器人大脑提供正确的世界模型。

典型应用场景验证

1. 工业场景：精密操作与状态预测

视频演示：点击查看机械臂抓取、放置、焊接及定位视频

视频展示了机械臂在产线上的复杂操作。重点在于末端执行器、工件与工作台之间的相对关系在连续帧中保持稳定。这对应了机器人核心的“感知-靠近-作用-预测”能力闭环。

2. 动态场景：空间理解与环境建模

视频演示：点击查看第一视角滑雪与人形机器人滑雪视频

无论是第一视角滑雪中雪雾、坡面与姿态的快速变化，还是人形机器人在雪道上的并行绕旗，均考验模型对空间理解、运动预测及动态环境建模的能力。

3. 体育交互：灵活运动与物理反馈

视频演示：点击查看机器人打排球与踢足球视频

排球击球的空中轨迹、足球射门时身体动作与球的对应关系，展现了接近人类期待的具身智能灵活运动能力。

完整能力展示：

视频演示：点击查看完整能力合集

技术解析：30B大脑，仅3B出手

LingBot-Video的技术突破主要体现在架构、数据与训练三个维度。

1. 架构：MoE实现效率与容量的平衡

传统Dense模型如同“全员办公”，任务到来时所有参数参与计算，稳定但昂贵。MoE（Mixture of Experts）则如同“专家库”，仅激活最相关的专家子集。

• 参数配置：总参数量30B，单次生成仅激活约3B参数。
• 优势：将计算成本与模型容量解耦，适应机器人训练、策略评估中大量模拟试错的高频需求。
• 性能数据：在1M Token长度下，MoE30B-A3B相比Dense6B、Dense14B、Dense30B的速度提升分别达到1.50×、2.59×和3.18×，同时保持接近3B模型的推理效率。

2. 数据：构建具身智能的“互联网”

机器人缺乏像互联网文本那样海量的自有数据。真实数据采集成本高、速度慢，且存在Sim-to-Real（仿真到现实）的差距。

LingBot-Video采用“通用视频+具身数据”的混合策略：
* 数据规模：引入超70,000小时具身导向视频，覆盖VLA操作、导航、第一视角、仿真及真实机器人（人形、四足等）数据。
* 数据清洗：针对稀缺高价值的具身数据，采取“少筛选、多保留”策略，防止被海量普通视频稀释。
* 结构化标注：所有素材经过五维结构化标注（物体、材质、时间戳、受力交互等）。
* 课程式训练：从低清静态图像打底，逐步过渡到高清长时序视频，循序渐进掌握复杂物理逻辑。
* 长尾强化：通过分布感知采样加权，强化机械操作、精密抓取等长尾场景的生成能力。

3. 训练：分层强化学习与物理约束

摒弃仅优化画面美观度和文本匹配度的传统方式，LingBot-Video构建了分层强化学习奖励体系：

• 感知维度：保障清晰度、文本匹配度及动态流畅度。
• 物理维度（核心）：校验物体不穿透、无凭空消失、运动符合重力惯性、材质受力形变合理。
• 执行维度：校验机器人肢体结构完整性、动作流程可落地性及任务完成度。

技术细节：
* 采用GRPO（Group Relative Policy Optimization）组相对策略优化方案。
* 搭配负感知微调，规避奖励黑客（Reward Hacking）问题。
* 原生支持Action-to-Video动作条件生成，输入机器人动作指令即可输出后续视觉变化，直接对接运动规划模块。
* 级联精炼方案：先生成480p基础时序画面保证逻辑，再精炼至1080p高清画质，平衡速度细节。

评测表现：SOTA级别的实力

在TI2V（Text-to-Image/Video）和T2V（Text-to-Video）任务中，LingBot-Video与NVIDIA Cosmos 3、LongCat-Video、LTX-2.3等开源模型进行了对比。

• TI2V任务：在开源竞品中达到SOTA水平，General Quality和Embodied Domain两项得分均位居第一。
• T2V任务：General Quality排名第二，但Embodied Domain得分超过Cosmos等竞争基线。
• RBench基准：在具身智能专用基准测试RBench上，全面超越业内通用视频生成标杆模型。

展望：视频模型的终点，是机器人大脑的起点

LingBot-Video的开源标志着视频生成赛道的新分化：从内容创作工具向世界模型（World Model）演进。其核心价值可划分为三层：

1. Data Engine（数据引擎）：生成低成本、高可信的动作与场景数据，解决机器人真实数据稀缺问题。
2. Policy Evaluator（策略评估器）：在虚拟视觉环境中预演策略，降低工业机械臂、人形机器人等在真实世界试错的风险。
3. Action Planner（动作规划器）：辅助机器人预测“执行动作后的结果”，优化决策规划与异常预判。

正如李飞飞创办的World Labs押注空间智能，以及LeCun团队V-JEPA 2探索视频自监督学习，具身智能已成为下一阶段AI竞争的焦点。尽管长时序一致性、复杂物理交互（柔性物体、液体）及评测标准仍在演进中，但LingBot-Video已证明：视频生成的尽头，或许不是电影，而是下一代机器人大脑的起点。

相关链接
* GitHub: https://github.com/robbyant/lingbot-video
* Tech Report: https://arxiv.org/pdf/2607.07675
* Project Page: https://technology.robbyant.com/lingbot-video
* HuggingFace: https://huggingface.co/collections/robbyant/lingbot-video
* ModelScope: https://www.modelscope.cn/collections/Robbyant/LingBot-Video

相关文章