西交大提出Fast LeWorldModel：动作前缀并行预测动态估计加速4倍

发布时间：2026-07-17 07:31:14 来源：安智兰德资讯网 作者：综合

本文第一作者：西安交通大学硕士生 高云天
通讯作者：西安交通大学教授 许翔宇
研究方向：世界模型、西交行预三维视觉与具身智能
个人主页：https://xuxy09.github.io/

在视觉规划与具身智能领域，大提l动“世界模型”被视为智能体迈向通用决策能力的出F测动核心基石：智能体需在真正执行动作前，先在潜在空间中“想象未来”，作前缀并进而选择最优行为策略。态估

然而，计加在视觉规划场景中，速倍这种“想象”过程往往面临严重的西交行预效率瓶颈。

以 LeWorldModel（LeWM）为例，大提l动其在规划阶段存在显著瓶颈：每评估一条候选动作序列，出F测动模型均需进行逐步的作前缀并自回归 rollout。具体而言，态估LeWM 先预测下一步的计加 latent 状态，再将该预测结果输入动力学模型，速倍继续预测后续步骤：

这种串行方式存在两大核心问题：
1. 规划效率低下：协同进化蒙特卡洛（CEM）算法需反复评估大量候选动作序列，西交行预耗时巨大。
2. 误差累积效应：在想象的轨迹（imagined trajectory）中，早期预测的微小偏差会随着时间步推进而不断放大，导致后续预测严重偏离真实状态。

针对上述瓶颈，西安交通大学研究团队提出了 Fast LeWorldModel（Fast-LeWM），旨在从根本上重构世界模型的预测范式：从传统的“逐步 rollout”转变为“轨迹级并行预测”。

论文信息
* 标题：Fast LeWorldModel
* 作者：Yuntian Gao, Xiangyu Xu
* 单位：西安交通大学
* 论文链接：https://arxiv.org/pdf/2606.26217
* 项目主页：https://fast-lewm.github.io/
* 代码仓库：https://github.com/Yuntian-Gao/Fast-LeWorldModel

其核心思想简洁而有力：摒弃单步转移模型的反复迭代，转而将动作序列的不同前缀（Prefix）作为预测单元，直接并行预测执行这些动作前缀后所到达的未来潜变量。通过密集的监督信号，迫使模型学习状态随不同动作序列演化的完整过程，而非仅关注状态的单步转移。

换言之，模型不再询问：“执行下一个动作后会发生什么？”，而是直接回答：“执行 1 个、2 个……直至 H 个动作后，分别会到达何种状态？”

实验结果表明，在与 LeWM 相同的规划协议下，Fast-LeWM 将平均成功率从 85.8%提升至 90.5%；引入自一致性约束后，进一步提升至 92.0%。在效率方面，模型 rollout 中的动态模块耗时从 31.4s骤降至 8.0s，完整 CEM 求解时间从 54.4s降至 28.3s，实现了约 4倍的加速。

Fast-LeWM 的 Pipeline

Fast-LeWM 的方法架构由三个关键部分组成：

第一步：视觉编码映射

视觉编码器将当前观测帧与未来观测帧映射至潜在空间（Latent Space）：

第二步：动作前缀编码器（Action-Prefix Encoder）

该模块利用因果 Transformer（Causal Transformer）将候选动作序列编码为一组 Prefix Tokens。每个 Token 对应一个特定长度的动作前缀：

其中，第 $k$ 个 Prefix Token 仅包含前 $k$ 个动作的信息：

鉴于相同的动作序列在不同初始位置、物体状态及接触关系下可能导致截然不同的后果，实际实现中，Fast-LeWM 还会将当前潜变量 $z_t$ 映射为 State Token，置于动作 Token 序列的最前端，为动作编码提供关键的上下文信息。

第三步：并行潜变量预测器（Parallel Latent Predictor）

该模块结合当前潜变量与所有 Prefix Tokens，一次性输出所有未来的潜变量序列：

在训练阶段，Fast-LeWM 对每一个前缀的预测结果均施加监督信号，而不仅仅是对最终状态进行监督：

最终目标中保留了 SIGReg 防坍塌正则化项：

这是 Fast-LeWM 区别于 LeWM 的关键所在：模型不仅学习状态的局部变化，更学习动作逐步累积时状态的连续演化规律。

规划阶段：基于动作前缀的快速 Rollout

论文中提出的动作前缀设计还带来了一个可选的 Self-Consistency Scoring（自一致性评分）机制：
1. 模型可直接从长度为 $H$ 的动作前缀预测终点状态；
2. 模型也可先预测一个中间潜变量，再基于该中间状态预测剩余时域的终点。

这两种终点预测之间的差异被用作一致性惩罚项：

其中，$\beta$ 控制自一致性项的权重。
* 当 $\beta=0$ 时，Fast-LeWM 退化为仅使用目标距离（Goal Distance）的 CEM 打分；
* 当 $\beta>0$ 时，CEM 能够筛选出在不同前缀分解下预测结果一致的候选动作序列，从而进一步提升规划的稳定性。

实验结果：成功率提升，规划时间近乎减半

实验沿用了 LeWM 的 Goal-Conditioned Latent Planning 协议，在 Two-Room、Reacher、PushT、OGBench-Cube四个环境中进行了评测：

性能提升：
* Fast-LeWM 在四个任务上的平均成功率从 LeWM 的 85.8%提升至 90.5%。
* 加入动作前缀预测带来的额外 Self-Consistency 规划项后，成功率进一步达到 92.0%。

效率飞跃：
在相同的 CEM 预算及单张 NVIDIA 4090 GPU 条件下：
* Dynamics Time：从 31.4s 降至 8.0s，加速约 4倍（包含动作编码与预测器推理时间）。
* CEM Solve Time：从 54.4s 降至 28.3s，减少 48.0%。

此外，在开环测试中，Fast-LeWM 在“想象未来”时的潜变量误差及其随 Horizon 的增长率均显著低于基线模型：

消融实验：并非简单延长动作块即可

作者通过消融实验验证了 Fast-LeWM 各组件的有效性。一种直观的加速思路是：将 LeWM 的动作块变长，使单次转移覆盖更长时间。作者构建了 Long-Action LeWM，将原本 5 个基本动作（Primitive Actions）的编码改为 25 个，但效果不佳。

相比之下，仅监督最终潜变量的 Terminal-only Fast-LeWM表现优于 Long-Action LeWM，但仍低于完整模型。这表明：
1. Action Prefix 本身已是更有效的长时域表示方式；
2. Dense Prefix Supervision（密集前缀监督）对于学习连续状态演化至关重要。

此外，去除 State Token 后，模型在多个任务上的性能出现下降，进一步证实了动作编码需要有效的上下文信息支持。

总结

Fast-LeWM 针对世界模型在规划阶段的关键瓶颈，提出了 Action-Prefix Prediction机制，将传统的一步自回归 Rollout 革新为并行多时域潜变量预测。

在相同的 LeWM 评测协议下：
* 成功率：从 85.8% 提升至 90.5%，引入 Self-Consistency 后达 92.0%。
* 效率：动态模块耗时从 31.4s 降至 8.0s，完整 CEM 求解时间从 54.4s 降至 28.3s。

更深层意义：世界模型的瓶颈不在“模型”，而在“接口”

这项工作的核心启示不仅在于加速，更在于揭示了一个本质问题：对于面向规划的世界模型而言，动态模型的接口设计本身可能与表征学习目标同等重要。

相比一步步预测“下一个 Latent”，直接预测由动作前缀引发的多时域未来状态，或许是让视觉世界模型走向高效规划的一条更直接路径。这标志着世界模型的发展范式正在从“逐步想象未来”，迈向“并行生成未来”。

视频链接：https://mp.weixin.qq.com/s/JIvkoo1pKkzup4Q6RdTLyQ

相关文章