浙大、西湖大学重塑AI世界探索：让机器"隐式漫步"场景的全新范式

发布时间：2026-07-18 06:34:23 来源：安智兰德资讯网 作者：热点

这项由浙江大学、浙大重塑西湖大学与阿法睿智能驾驶联合开展的西湖研究，以预印本形式于2026年6月29日发布，大学论文编号为arXiv:2606.30045。世界式漫有兴趣深入了解的探索读者可通过该编号查询完整原文。

当你操控第一人称视角电子游戏中的让机角色在房间内自由走动，转身再折返时，器隐全新你期待场景保持绝对一致——椅子仍在原地，步场阳光依旧从同一扇窗户射入。范式然而，浙大重塑对于当前的西湖人工智能系统而言，实现这一点极具挑战。大学大多数AI在“向前探索”时表现尚可，世界式漫但一旦需要“回溯”以确认之前经过的探索区域，画面往往会出现偏差、让机模糊甚至完全失真。

研究团队精准定位了问题的核心：现有AI世界探索系统将“场景外观”与“自身位姿”混为一谈，如同厨师边做菜边记菜谱，导致逻辑混乱。为此，这支来自中国顶尖高校的团队提出了一种全新范式——“在隐式中漫步”（Walking in the Implicit），通过解耦上述两个过程，构建了名为NeuWorld的完整系统。

一、问题的根源：为何AI“走回头路”如此艰难？

沿用游戏比喻，主流做法是让AI逐帧“绘制”所见画面，并将每一帧存入一个不断增长的记忆列表。当需要判断后续视野时，AI会查阅此列表并继续绘制。该方法存在致命缺陷：随着探索帧数增加，列表日益冗长，且每帧包含的光影、纹理等海量细节导致AI“工作台”极度拥挤。更关键的是，这些帧仅具备时间顺序，缺乏空间几何关联，导致AI无法识别“当前角落”与“五步前角落”的空间同一性。

研究团队将此定义为“状态转换与高频观测合成的纠缠”——即AI同时处理本应分离的任务，导致两者效能均受损。

虽然引入NeRF（神经辐射场）或3D高斯泼溅（3D Gaussian Splatting）等三维重建技术可提升回溯一致性，但其计算成本极高，相当于每走一步都要重新测绘整个城市。研究团队认为，理想的方案介于两者之间：比逐帧视频更紧凑、具几何意识，又比完整三维重建更轻量、适合生成式模型。这一“中间地带”即为神经隐式场景（Neural Implicit Scene, NIS）。

二、核心发明：用“场景胶囊”替代无限增长的视频列表

NIS可被视为一个紧凑的“场景胶囊”。给定当前位置周边的若干张带相机位姿的照片，NIS编码器将其压缩为固定数量的“记忆令牌”（NeuWorld中固定为1024个，每个64维）。无论场景复杂度如何，胶囊大小恒定。

该胶囊不仅存储图像，更编码了场景的几何结构与外观综合表达，支持任意相机角度下的“解码”（渲染）。换言之，胶囊具备“查询”能力：输入“当前位置+朝向”，即可输出对应画面。

这一设计借鉴了LVSM和RayZer等优秀新视角合成模型，证明了固定长度潜在令牌编码稀疏视角的可行性。NeuWorld的创新在于将NIS从“视角合成辅助工具”提升为“交互过程的核心状态变量”。

具体流程分为两步：
1. 生成阶段：利用扩散变换器（NIS-DiT），基于当前观测、未来轨迹及历史记忆，采样生成下一个局部区域的NIS胶囊。此步骤处理开放性问题：“该区域场景应呈现何种形态？”
2. 渲染阶段：利用冻结解码器（NIS-VAE解码部分），从胶囊中确定性渲染出未来各视角画面。此步骤处理封闭性问题：“从确定场景状态，特定角度看到什么？”

两步分离，各司其职，实现了生成性与几何确定性的解耦。

三、双核驱动：VAE负责“压缩”，DiT负责“预测”

NeuWorld由两大神经网络模块构成，分工明确：

1. NIS-VAE（变分自编码器）：场景压缩与渲染

• 任务：将带位姿的照片压缩为NIS胶囊，并从胶囊渲染任意视角。
• 机制：编码器将情境视图（照片）与Plücker射线嵌入（几何关系）拼接，经Transformer处理后，由1024个可学习“查询令牌”汇聚成NIS胶囊。解码器则逆向操作，输入胶囊与目标相机角度，输出画面。
• 训练：采用图像重建、感知损失、对抗损失（GAN）及KL正则化组合，类似常规自编码器，但对象为“特定视角的场景画面”。

2. NIS-DiT（扩散变换器）：动态预测

• 任务：基于当前观测与未来相机轨迹，预测（采样）对应局部区域的NIS胶囊。
• 机制：采用流匹配（flow matching）目标函数，比传统扩散模型更高效。基于U形Transformer骨架，使用AdaLN时间步调制、RMSNorm及Q/K归一化。
• 特点：无空间/时间位置编码，因NIS令牌不绑定网格或时间序，自注意力直接在令牌集合上操作。

四、统一接口：让相机、图像与历史“说同一种语言”

传统多模态处理常为相机、图像（如DINOv2）、历史分别设计编码器，如同多语言会议需翻译官汇总。NeuWorld则复用NIS编码器作为统一接口：

• 纯位姿条件（z_pose）：图像置零，仅保留相机位置，编码为“仅含结构”的令牌。
• 参考图像条件（z_ref）：参考图像置于对应位置，其余置零，编码为参考令牌。
• 历史记忆条件（z_mem）：历史帧与位姿送入编码器，得到记忆令牌。

三种输入最终统一为NIS令牌，通过不同拼接方式注入NIS-DiT：
* z_pose与z_ref：通过通道维度拼接，信息量加倍，紧密绑定待去噪令牌。
* z_mem：通过令牌数量维度拼接，序列变长，作为背景信息供注意力机制灵活查询。

消融实验证实：若改用异构方案（DINOv2+轻量相机编码器），短期位姿一致性误差（R_dist）从0.030升至0.095，长期误差显著退化。统一接口为几何一致性提供了更强骨架。

五、训练策略：由弱到强与抗漂移增强

1. 课程学习：由弱到强

为防止模型走捷径（直接复制参考图像而非学习几何先验），训练分三阶段：
* 阶段一：仅输入z_pose（图像置零），强迫模型学习NIS内在分布与几何结构。
* 阶段二：70%概率随机丢弃参考图像（弱条件），30%使用强条件，逐步引入外观对齐。
* 阶段三：加入历史记忆，同样通过随机回退（50%丢弃参考与历史，25%仅保留参考）防止过度依赖，保持“冷启动”能力。

2. 抗漂移条件增强

实际推理中，历史帧由模型生成，存在模糊/偏差，导致训练-测试差距累积及“漂移”。为此：
* 训练时：30%概率加高斯模糊、30%降采样再上采样、30%VAE重建替换、10%保持清晰，模拟质量退化。
* 噪声注入：编码后注入随机高斯噪声（强度γ服从Beta分布），并通过AdaLN告知模型噪声强度，使其自适应调整。
* 推理时：随步数k增加，γ从γ_min线性增至γ_max，自动补偿历史质量退化。

消融实验：去除抗漂移增强，长期漫游位移误差（T_dist）从0.153激增至0.680。

六、记忆机制：几何感知的历史检索

NeuWorld维护记忆库存储过往帧及位姿，检索策略结合几何常识：
1. 局部连贯：检索最近生成的帧。
2. 闭环回忆：通过综合评分函数检索几何相关帧。评分考量：
* 相机距离：三维空间距离。
* 视野重叠度：候选帧视野与未来轨迹视野的重叠面积（蒙特卡洛采样估计）。
* 时间偏好：打破平局时优先近帧。
* 注：视野重叠查询针对未来轨迹稀疏采样位姿的平均相关性，而非单一终点。

检索结果经位姿多样性过滤后，合并为最终历史集合，编码为z_mem。

消融实验：仅用最近帧（无几何检索），回程旋转误差（R_dist）高达0.940，LPIPS为0.755（基本失效）。结合相机距离与视野重叠的混合检索性能最优，证明几何信号互补。

七、数据与实验设置：从零开始的公平对决

• 训练数据：NIS-VAE与NIS-DiT均从零训练（无预训练权重），仅使用Re10K（YouTube室内视频）和DL3DV-10K（大规模室内外场景）。图像裁剪缩放至256×256。
• 硬件：16块A100 GPU，训练耗时约一周。
• 对比基线：SEVA、ViewCrafter、Gen3C、VMem、Matrix-Game 2.0等均采用大规模预训练先验并在数据集上微调。NeuWorld在无预训练视频骨干的不对等条件下参与比较，结果更为保守，凸显NIS表示本身的价值。

八、实验结果：数字背后的性能优势

评估协议包括前向轨迹生成（自回归生成后续帧）与环形重游（往返一致性）。

1. Re10K数据集

• 短期（第50帧）：NeuWorld全面领先。LPIPS 0.431，PSNR 15.11 dB，SSIM 0.476，FID 34.55。几何精度极高：R_dist仅0.026°，T_dist仅0.098。
• 长期（第200帧）：画面质量指标（PSNR/SSIM）自然退化，但几何一致性仍最优：R_dist 0.083，T_dist 0.141。LPIPS（0.665）与FID（54.08）保持最优或次优。

2. DL3DV数据集

• 场景更多样、运动更复杂。NeuWorld短期多数指标前二，长期位移一致性（T_dist=0.274）最优。

3. 环形重游与效率

• Re10K：重游自一致性（LPIPS/SSIM 0.208/0.692）与回程位移误差（T_dist=0.382）最优。推理效率极高：前向+回程仅需3.24分钟，比VMem/Gen3C（47.62分钟）快约14倍。仅Matrix-Game 2.0（1.33分钟）更快，但画质与几何一致性远逊。
• DL3DV：回程位姿误差（R_dist=0.410, T_dist=0.507）与重游位移一致性（T_dist=0.315）最优。推理时间1.14分钟，位列第二。

九、NIS的几何本质：可视化与插值实验

• 深度探测：冻结NIS-VAE编码器，训练轻量深度预测头。解码点云显示清晰的三维布局（家具、墙面、地板关系合理）。即使仅输入“参考图像+相机位置”的部分NIS，解码点云仍保留连贯几何骨架，未崩塌为噪声。证明NIS有效编码了相机几何关系，而非仅记录外观。
• 空间插值：
• 局部：同场景首尾NIS胶囊线性插值，渲染画面平滑过渡，无突变或几何混乱，证明局部空间光滑连续。
• 全局：跨场景插值亦显示解码器对潜在扰动响应连续，体现NIS空间的全局平滑性。

十、NIS vs 视频帧潜变量：一次公平对决

为纯粹比较状态变量优劣，研究团队在相同DiT骨架与条件下，分别用NIS潜变量与CogVideoX视频VAE压缩的帧潜变量训练扩散先验（各50,000步）。

• 质量与几何：NIS在视频质量（FVD：86.20 vs 88.03）与旋转误差（R_dist：3.26° vs 4.20°）上优于帧潜变量；位移误差略逊（0.157 vs 0.141）。
• 效率：NIS训练耗时17.2小时，帧潜变量需78.0小时（近5倍差距）。
• 原因：NIS集合式令牌结构无需时空位置编码，自注意力在紧凑令牌上操作，收敛更快。

十一、NIS容量调节：令牌数 vs 通道维度

NIS表达能力由令牌数量L与通道维度D控制。在Re10K上的评估显示：
* 令牌数量L：提升显著且持续。L从512增至3072，PSNR从25.90升至28.35。
* 通道维度D：收益迅速饱和。D从32增至256，PSNR仅从26.25微增至26.82。

结论：提升表达能力应优先增加令牌数量。综合考虑推理效率与训练稳定性，最终选定L=1024, D=64作为默认配置。

总结与展望

NeuWorld的核心贡献在于为AI世界漫游发明了一种新的“记忆方式”：不存储逐帧画面，而是将场景浓缩为可查询、可解码的“场景胶囊”（NIS），并通过专用生成模型预测下一状态。这种解耦架构在保持几何一致性的同时，推理速度比依赖三维重建的方法快一个数量级。

局限性：
1. 目前仅在静态场景验证，不支持移动物体。
2. 仅维护局部区域的NIS胶囊，随移动不断重锚定，未构建全局持久地图。
3. 未来方向：扩展至动态环境、丰富交互动作及更大范围场景组合。

感兴趣的研究者可通过arXiv:2606.30045获取全文，项目页面提供可视化对比。

Q&A

Q1：NeuWorld和普通AI视频生成有什么本质区别？
A：普通AI视频生成逐帧存储和生成画面，易随时间累积误差。NeuWorld将场景压缩为固定大小的“场景胶囊”（NIS），记录几何与外观信息，按需渲染任意角度。这种状态管理与画面合成的解耦，避免了长期混乱，大幅改善了漫游回溯的一致性。

Q2：NeuWorld在“走回头路”场景下的推理速度是多少？
A：在Re10K环形轨迹测试中，NeuWorld完成前向+回程仅需3.24分钟，比VMem/Gen3C（47.62分钟）快约14倍，比SEVA（7.75分钟）快一倍以上，且在回程自一致性与几何精度上表现最优或次优。

Q3：NIS令牌数量和通道维度哪个对画面质量影响更大？
A：令牌数量L的影响远大于通道维度D。将L从512增至3072，PSNR提升显著（25.90→28.35）；而D从32增至256，PSNR仅微增（26.25→26.82）。因此，提升NIS表达能力时，增加令牌数量比加宽通道维度更高效。

相关文章