刚刚，LeCun团队让世界模型学会持续学习！-安智兰德资讯网

当前位置：首页 > 探索 > 刚刚，LeCun团队让世界模型学会持续学习！

刚刚，LeCun团队让世界模型学会持续学习！

发布时间：2026-07-17 09:16:14 来源：安智兰德资讯网作者：知识

henry 发自凹非寺量子位 | 公众号 QbitAI

世界模型终于迎来了“持续学习”的刚刚能力！

近日，队让纽约大学（NYU）联合 Yann LeCun 创办的世界 AMI 实验室，发布了 JEPA 系列的模型最新研究成果——AdaJEPA。

传统世界模型在预训练完成后通常冻结参数，学会学习而 AdaJEPA 引入了测试时自适应（Test-Time Adaptation,持续 TTA）机制。它能够在智能体与环境交互的刚刚过程中，实时调整世界模型的队让编码器和预测器参数，从而实现真正的世界持续学习。

具体而言，模型AdaJEPA 构建了一个“计划、学会学习执行、持续观测、刚刚更新、队让再规划”的世界闭环系统。在每次交互中，系统仅执行 MPC（模型预测控制）规划出的第一步动作，随后将真实观测到的下一帧状态作为自监督信号，对世界模型进行在线更新。

这意味着，下一轮规划所依赖的不再是初始部署时的冻结模型，而是经过当前环境“实时校准”后的动态模型。

这一思路与经典强化学习中的 Dyna架构异曲同工：模型并非一次性训练完毕，而是在真实交互中不断修正其对物理世界的理解。

实验数据显示，无论是在分布内环境，还是面对各类分布外偏移（OOD），AdaJEPA 的规划成功率均显著优于固定参数的世界模型。

核心机制：从“静态预测”到“动态校准”

长期以来，基于 JEPA 路线的隐空间世界模型遵循一个默认假设：模型训练即结束，参数随即冻结。

其传统流程如下：
1. 离线学习：模型在离线轨迹上学习将高维图像压缩至隐空间（Latent Space），并在该空间内预测未来状态。
2. 测试阶段：MPC 调用冻结的世界模型，在隐空间中向前滚动“想象”未来轨迹，优化出一串动作序列。
3. 执行：仅执行序列中的第一步动作，等待环境反馈。

（注：MPC 的核心在于“滚动优化”，即每次只预测短 horizon 并执行第一步，以应对不确定性。）

痛点在于：当环境发生分布偏移（Test-time Distribution Shift）时，冻结的世界模型极易失准。在隐空间中看似可行的动作，映射到真实物理环境时可能完全失效。加之 MPC 依赖短时域滚动，单步误差会随时间累积放大，导致规划失败。

为解决这一难题，AdaJEPA 提出了全新框架：世界模型不应是静态的，而应像部署中的智能体一样，在行动中利用新经验自我校准。

AdaJEPA 的四步闭环

AdaJEPA 将传统 MPC 的“规划-执行-再规划”扩展为更精细的五步循环：

计划（Plan）：
模型将当前观测编码为隐状态（Latent State），利用当前世界模型进行 MPC 滚动预测，在隐空间中寻找最接近目标状态的动作序列。
执行（Act）：
模型不执行完整序列，仅执行第一步动作。真实环境返回下一帧观测。
更新（Update）：
将此次真实状态转移存入在线缓冲区。AdaJEPA 让模型根据当前观测和动作预测下一步隐状态，并与真实下一帧观测编码出的隐状态进行对齐。
损失计算：预测值与真实值之间的差异生成梯度，反向传播以更新模型。
再规划（Re-plan）：
更新后的世界模型立即投入下一轮 MPC。
轻量化更新策略：论文默认仅更新视觉编码器和预测器的最后几层，且每次重规划仅执行1步梯度下降。