哈萨克斯坦团队用消费级显卡造出"实时AI游戏世界"

发布时间：2026-07-18 06:37:36 来源：安智兰德资讯网 作者：时尚

DreamForge AI Lab 于2026年6月发布了一项技术研究报告（arXiv:2606.30292），哈萨该研究由哈萨克斯坦团队完成。克斯卡造感兴趣的坦团研究者可通过上述编号获取完整论文。

你是队用否曾幻想过这样的游戏体验：画面拥有电影级的真实感，树叶随风摇曳，消费戏世光影投射出逼真的显界阴影，且世界随你的出实移动而动态流转？DreamForge AI Lab 的研究团队正在实现这一愿景：他们不依赖程序员预设的静态地图，而是哈萨让AI在玩家游玩过程中，实时“绘制”眼前的克斯卡造每一帧画面。这种“走到哪，坦团画到哪”的队用技术，正是消费戏世世界模型（World Model）的核心概念。

这份报告详细阐述了 DreamForge-World 0.1 Preview 的显界实现路径、当前能力边界及未来挑战。出实作为一个带有“预览”标识的哈萨系统，它坦诚地展示了当前技术的极限，并明确了下一步的优化方向。

一、什么是“世界模型”，为何极具挑战性？

理解这项研究的关键在于厘清“世界模型”与传统AI视频生成的本质区别。

若将普通AI视频生成比作画家提前完成一幅画作，那么世界模型则像是一位即兴魔术师：玩家每做一个动作，AI便实时生成对应的画面，且前后帧必须无缝衔接。例如，玩家前进时背景需相应拉近，转身时身后的场景必须保持存在且一致。

这一过程面临两大核心难题：

1. 实时性（速度）：传统AI视频生成可耗时渲染，但世界模型必须以每秒十几帧的速度持续生成新画面，否则会产生明显卡顿，无法支持交互。
2. 记忆一致性（Memory）：AI生成的每一帧都作为下一帧的参考。由于生成结果存在误差，随着时间推移，误差会累积叠加，导致画面质量下降或场景结构错乱（如转身后发现场景面目全非）。

目前，谷歌 DeepMind 的 Genie 系列、Matrix-Game 3.0、WorldPlay 等顶尖系统均在攻克上述难题，尤其是建立“持久空间记忆”。DreamForge 团队则选择了一条务实的路径：不追求极致画质，也不先解决记忆难题，而是探索在消费级显卡、少量训练数据和低成本条件下，世界模型能达到的实际效果。

二、站在巨人的肩膀上：模块化组合而非从零训练

DreamForge 的核心策略是“聪明地拼积木”，避免从零训练模型所需的海量算力。他们整合了现有的高质量开源模块：

1. 视频生成基石：LongLive 1

基于英伟达实验室改造的 Wan2.1 开源模型，LongLive 1 实现了“流式续写”能力，即不断生成后续帧。其关键技术包括：
* KV缓存重用：存储已计算结果，避免重复运算，提升速度。
* 短窗口注意力：仅关注最近几帧，降低计算复杂度。
* 帧锚点机制：固定初始参考点，防止画面漂移。

2. 动作控制模块：Matrix-Game 2.0

该模块专门解决如何将玩家操作（键盘/鼠标）转化为画面变化。它在约1200小时的游戏操作录像上训练，能够准确映射玩家动作与视角变化之间的关系。

3. 协同与微调

DreamForge 将 LongLive 1 适配为游戏风格，并移植 Matrix-Game 2.0 的控制模块，仅使用 64小时精选游戏视频进行针对性微调。相比之下，Matrix-Game 2.0 使用1200小时数据，谷歌 Genie 使用30000小时数据。这一对比证明了通过高效组合现有模型，可用极少数据构建出可用的交互系统。

三、技术实现：让AI学会“观察玩家”

团队通过三个步骤逐步完善系统：

1. 风格适配（骨干LoRA训练）：
   在 LongLive 1 基础上训练 rank-64 的 LoRA 模块，使其专注于生成游戏风格画面。训练数据包括 NitroGen 数据集、GameGen-X 开放世界数据集及团队手工收集的高质量素材。此阶段仅让AI“熟悉”游戏视觉风格，未加入控制。

2. 引入动作控制：
   将 Matrix-Game 2.0 的权重移植至 LongLive 1 的 Diffusion Transformer 架构，并进行短暂微调。采用“残差动作通路”设计，将玩家操作信号作为独立输入叠加在生成过程中，确保基础风格不变的同时，实时响应玩家指令。

3. 双视角独立优化：
   针对第一人称（FPS）和第三人称（TPS）视角分别训练高阶 LoRA。

4. 第一人称难点：模拟真人走动的自然镜头晃动。
5. 第三人称难点：协调角色移动、镜头跟随及背景视差（近快远慢）。
   团队引入 Depth Anything 3深度估计模型，辅助AI理解场景远近关系，提升视角控制的稳定性。

四、多模态输入：从文本、图片到视频

LongLive 1 原生支持文本生成视频。DreamForge 通过以下方案扩展输入能力：
* 机制：利用模型自带的 VAE 编码器，将输入图片或视频转换为与AI内部生成格式一致的“历史记录”，并插入生成序列前端。
* 效果：AI 将已有画面视为自身生成的历史，并据此继续生成后续内容。
* 局限：无需额外训练图生视频模型，但后续生成的稳定性完全依赖自回归历史的质量，图片/视频仅能锚定起点。

五、用户可见的六大核心能力

DreamForge-World 0.1 Preview 在同一个自回归生成循环中，提供了以下交互能力：

1. 纯文字启动：输入描述（如“黄昏下的战后废土城市”），AI 生成初始世界并允许探索。
2. 多模态入口：支持上传截图或视频片段作为世界起点。
3. 键鼠实时控制：玩家的按键和鼠标移动直接决定下一帧画面的生成方向。
4. 双视角切换：根据玩家选择，调用不同的控制模块，分别优化 FPS 和 TPS 体验。
5. 动态提示词更新：游戏进行中可修改文字描述。例如，在海岸场景中输入“海啸”，AI 会在保留当前视觉历史的基础上，逐渐生成海浪涌来的景象，无需重启会话。
6. 分钟级持续生成：在约一分钟的时间窗口内，生成质量相对稳定，适合当前阶段的交互体验。

六、性能表现：消费级显卡的实时推理

报告提供了基于端到端吞吐量（含推理、解码、传输）的性能数据：

优化措施：
* 异步流式处理：并行进行画面生成与显示，减少等待延迟。
* KV缓存量化：压缩中间计算结果，降低显存压力。
* Deep Forcing 缓存管理：一种训练无关的技术，用于减缓长时间运行后的输出质量衰退。

在 RTX 4090 上使用 fp8 精度和轻量解码器，系统达到了 14-15 FPS的流畅度，且显存占用仅约 4GB，证明了消费级硬件运行实时AI世界的可行性。

七、坦诚的局限：当前系统做不到什么

报告明确指出了系统的三大核心缺陷：

1. 缺乏持久空间记忆：
   系统未维护全局地图。玩家转身返回时，AI 会重新合成场景而非还原记忆。例如，旋转镜头后，原本空旷处可能出现新树，场景结构发生改变。这是目前所有实时世界模型面临的共性难题。

2. 长时间运行后的画面退化：
   随着自回归生成的累积，误差导致画面出现颜色过饱和、纹理细节模糊等问题。虽然颜色可能随时间恢复，但精细纹理的损失是不可逆的。

3. 控制精度不足：

4. 激进操作（如快速旋转镜头）可能导致画面不稳定。
5. 第三人称视角的控制难度高于第一人称。
6. 延迟虽为实时，但未达到传统游戏引擎的无感响应水平。
7. 不支持：声音生成、多AI角色交互、与持久物体的物理互动。

八、数据效率对比：64小时 vs 30000小时

这一对比并非宣称 DreamForge 效果更优，而是证明：通过组合现有开源模型并进行针对性微调，小团队可用极少数据构建出具备多项交互能力的可用预览系统。这为资源有限的研究者提供了一条可行的技术路径。

九、未来展望与可用性

• 当前状态：DreamForge-World 0.1 Preview 为内部预览版，未开源权重，也未开放公开体验。
• 下一步计划 (DF-World 0.5)：若许可和安全条件允许，团队计划发布下一版本。
• 技术路线图：
• 持久记忆：探索潜在记忆检索、相机感知记忆、闭环训练及自我训练。
• 模型升级：引入更大的视频骨干模型和更强的动作控制架构。
• 体验优化：改进双视角稳定性，扩展多模态输入至运行中持续更新，加入同步实时音频。

DreamForge 团队回答了一个关键问题：世界模型的门槛到底有多低？结果显示，即使在一两分钟后画面退化、场景错位，该系统在短时间窗口内已能提供“AI实时创造世界”的真实感。随着记忆问题和控制精度的突破，普通人有望在个人电脑上，通过文字或图片描述并进入由AI生成的无限世界。

查阅完整报告：arXiv:2606.30292

Q&A

Q1：DreamForge-World 0.1 Preview 和传统游戏有什么本质区别？
A：传统游戏的世界由程序员预先编写并固定；DreamForge 的世界模型是在游玩过程中实时生成的，没有固定的地图。优势在于世界理论上可无限生成，劣势在于当前AI记忆不可靠（转身场景可能变化）且控制精度低于传统引擎。

Q2：为何 DreamForge 仅使用 64 小时数据，远少于其他系统？
A：团队未从头训练模型，而是复用了 LongLive 1 的视频生成能力及 Matrix-Game 2.0 的控制模块，仅需少量数据进行微调。大部分基础能力源自已有的开源模型，从而大幅降低了数据需求。

Q3：DreamForge-World 0.1 Preview 目前在哪里可以使用？
A：目前该版本处于内部预览状态，未开源权重，也未开放公开体验。团队计划推出 DF-World 0.5，是否公开发布取决于许可和安全条件。最新动态请关注 trydreamforge.com。

相关文章