引言：预测空间的三个层次
驾驶世界模型的核心是学习环境的动力学转移函数：给定当前状态 $s_t$ 和动作 $a_t$，预测下一时刻 $s_{t+1}$。
但"状态 $s$“的定义不同，世界模型的技术路线就完全不同。按预测空间从密集到稀疏，可分为三个层次：
| 层次 | 预测空间 | 信息密度 | 代表方法 |
|---|---|---|---|
| 像素空间 | 原始 RGB 视频帧 | 最高 | DriveDreamer, GAIA-1, Vista |
| 潜在空间 | VAE 压缩后的潜变量 | 中 | World4Drive, LAW, ReWorld |
| 占用空间 | 3D 体素占用网格 | 低（语义级） | OccWorld, NIFF |
这三个层次不是互斥的，相反，最新的趋势是跨层次融合——用潜在空间做高效推理，用像素空间做可视化，用占用空间做规划。
🎨 像素空间世界模型
范式：视频生成即世界模型
像素空间世界模型直接把世界建模为视频生成问题：输入过去帧和动作，生成未来帧。这是最直觉的路线——生成的视频可以直接被人类理解，也天然做数据增强。
核心公式：
$$p(x_{t+1:T} | x_{1:t}, a_{1:T}) = \prod_{k=t+1}^T p(x_k | x_{1:k-1}, a_{1:k-1})$$DriveDreamer
发布时间：2024 年 2 月（上海 AI Lab）
核心技术：
- 基于 Stable Diffusion 的潜在扩散架构
- CausalVAE 保证时序因果性（未来帧不泄露到当前帧编码）
- 结构化条件注入：HDMap（车道线、路沿）+ 3D bbox（位置、大小、朝向）
- 两阶段训练：阶段一训练静态场景先验（背景 + 道路），阶段二训练动态物体行为（车辆运动）
关键技术指标：
- 输入：4 帧历史 + 动作序列 + HDMap + 3D bbox
- 输出：8 帧未来（约 3 秒）
- 分辨率：1280 × 720
- 条件控制精度：支持逐帧精确控制物体位置
贡献：首个将结构化场景条件（HDMap + 3D bbox）与因果 VAE 结合的驾驶世界模型，证明了精确可控的驾驶视频生成是可行的。
GAIA-1
发布时间：2023 年 9 月（Wayve）
核心技术：
- 自回归 token 预测：将视频帧通过 VQGAN 离散化为 token，像 GPT 一样预测下一 token
- 混合架构：自回归 + 扩散细化的两阶段设计
- 三重条件：文本描述 + 驾驶命令 + 历史帧（可选择条件组合）
- 十亿参数量级，在 4700 小时英国驾驶数据上训练
架构三阶段：
- Tokenizer：VQGAN 将每帧编码为离散 token 网格
- Prior：自回归 Transformer 在 token 空间中预测未来
- Renderer：扩散模型将离散 token 细化为高质量像素
贡献：首个十亿参数级的驾驶世界模型，展示了自回归 + 扩散混合路线的可行性。
局限：自回归的顺序预测在长程生成中误差累积严重，且推理速度较慢。
Vista
发布时间：2024 年 5 月（Wayve）
核心技术：
- DiT 骨干：替换 GAIA-1 的自回归架构为扩散 Transformer
- 动作条件：以自车动作（油门、转向角）为核心条件生成未来帧
- 闭环推理：可根据策略输出的动作实时生成下一帧，实现闭环仿真
- 多模态不确定性建模：对同一动作输出多种可能的未来场景
与 GAIA-1 的关键区别：
| 维度 | GAIA-1 | Vista |
|---|---|---|
| 骨干架构 | 自回归 Transformer | Diffusion Transformer (DiT) |
| 生成方式 | token 序列预测 | 潜空间去噪 |
| 动作条件 | 可选文本/命令 | 精确动作值 |
| 多模态输出 | 无 | ✅ 显式建模 |
贡献：第一个真正具备闭环仿真能力的驾驶世界模型，可与策略网络交互生成反应性场景。
Cosmos
发布时间：2025 年 1 月（NVIDIA）
核心技术：
- 大规模视频预训练：在 2000 万小时视频上训练，包含大量驾驶数据
- 因果视频 VAE：压缩比为 8×8×8（空间 × 空间 × 时间）
- DiT + 时序注意力：可生成最长 60 秒视频
- 可微分仿真：将世界模型与可微分渲染器结合
核心创新——Causal Video VAE 的压缩设计：
| 组件 | 压缩比 | 输出尺寸（输入 1920×1080×60帧 ≈ 3.7B tokens） |
|---|---|---|
| 原始像素 | 1× | 3.7B |
| VAE 编码后 | 64× (8×8×1) | 58M |
| 因果 VAE | 512× (8×8×8) | 7.2M |
贡献：展示了海量数据 + 大模型在驾驶视频生成中的 scaling 能力；Causal Video VAE 的高效压缩为长时间视频生成提供了基础。
像素空间方法优缺点总结
| 优点 | 缺点 |
|---|---|
| ✅ 生成视频可直接可视化 | ❌ 计算量巨大（扩散多步采样） |
| ✅ 天然适合数据增强 | ❌ 不保证物理/几何一致性 |
| ✅ 人类可理解、易调试 | ❌ 长程预测质量退化快 |
| ✅ 条件注入直观 | ❌ 车端推理速度不够 |
🧠 潜在空间世界模型
范式：在压缩空间预测未来
潜在空间世界模型不在像素层面生成，而是在VAE 编码后的潜在空间中预测未来状态。因计算量小、推理快，更适合直接服务规划。
核心公式：
$$z_{t+1} = f_\theta(z_t, a_t), \quad z_t = E(x_t)$$其中 $z_t$ 是潜在状态，$E$ 是编码器，$f_\theta$ 是潜在动力学模型。
World4Drive
发布时间：2024 年 10 月
核心技术：
- 两阶段框架：先训练一个轻量 VAE 将多相机观测压缩到潜在空间，再在潜在空间训练动力学模型
- BEV 潜在状态：在 BEV 视角下定义潜在状态，天然融合多相机信息
- 变分预测：用 RSSM 风格的条件变分模型预测未来潜在状态分布
- 规划接口：直接在潜在空间执行规划（用 MPPI 或梯度优化）
技术细节：
- 编码器 E 将 6 相机图像压缩为 BEV 潜在状态 $z \in \mathbb{R}^{C \times H \times W}$
- 动力学模型预测 $p(z_{t+1} | z_t, a_t)$
- 奖励函数定义在潜在空间（通过一个小的 reward head 解码）
贡献：第一个真正将世界模型与规划在潜在空间端到端协同的系统。
LAW（Learning to Accelerate World Model）
核心技术：
- 动作条件控制生成：以自车动作序列为条件，生成可控的未来帧
- 潜在一致性与渲染一致性联合训练：
- 潜在一致性：在 VAE 空间中直接约束预测的 $z_{t+1}$ 与其对应的编码 $E(x_{t+1})$ 接近
- 渲染一致性：将潜在预测解码到像素后再与 GT 帧计算感知损失
- 训练加速：提出多种训练加速技巧使得潜在世界模型训练成本降低 10 倍
ReWorld（Reward World Model）
核心技术：
- 世界模型用于奖励设计：核心洞察是"新场景的奖励可以通过世界模型的预测来估算”
- Reward via Reconstruction：用世界模型重建误差作为 reward signal——真实轨迹能被世界模型准确预测，异常轨迹的重建误差大
- 规划中的 use：将世界模型的预测不确定性作为规划 cost 的一项权重
三方法对比
| 方法 | 潜在表示 | 动力学模型 | 是否用于规划 | 核心创新 |
|---|---|---|---|---|
| World4Drive | BEV 潜在 $z$ | RSSM 变分预测 | ✅ 是（MPPI） | BEV 潜在 + 联合优化 |
| LAW | VAE 潜在 $z$ | 确定性/变分 LSTM | ❌ | 双重一致性训练 |
| ReWorld | VAE 潜在 $z$ | 扩散/RNN | ✅ （reward） | 损失即 reward |
🏗️ 占用空间世界模型
范式：预测未来 3D 几何
占用空间世界模型在3D 体素占用网格中预测未来，不关心纹理和外观，只关心"哪里被占了、是什么类别"。
核心公式：
$$O_{t+1} = f_\theta(O_t, a_t)$$其中 $O_t \in \mathbb{R}^{X \times Y \times Z \times C}$ 是语义占用网格，每个体素包含占用概率和语义类别。
OccWorld
发布时间：2024 年 4 月（上海 AI Lab）
核心技术：
- 场景 Transformer：将当前 BEV 特征和占用网格编码为 token，在 token 空间中预测未来占用
- 两阶段训练：阶段一学习占用预测（自监督），阶段二学习场景生成（可控制）
- 规划适配：预测的占用网格直接可输入到占用-based 规划器中
技术架构：
- 场景编码：将当前帧的 BEV 特征 + 占用网格投射到 token 空间（每个 grid cell 一个 token）
- 时序 Transformer：以 token 序列为输入，预测下一时刻的占用 token
- 占用解码：将 token 解码回 3D 占用网格
- 规划过滤：在预测的占用空间中评估候选轨迹的碰撞风险
优势：
- 计算量远小于像素空间方法
- 显式几何表示天然适合碰撞检测
- 可扩展到任意语义类别
NIFF（Neural Integrated Future Flow）
核心技术：
- 未来场景流预测：不直接预测占用网格的下一状态，而是预测每个占用的未来光流（当前时刻到未来时刻的对应关系）
- 集成时序建模：将多帧预测级联到一个统一的神经网络中，缓解误差累积
- 几何约束：通过 3D 投影约束保证预测的运动在物理上可行
占用空间 vs 像素空间 vs 潜在空间
| 维度 | 像素空间 | 潜在空间 | 占用空间 |
|---|---|---|---|
| 信息层次 | 像素级 | 特征级 | 语义级 |
| 计算成本 | 高 | 中 | 低 |
| 几何约束 | 隐式 | 隐式 | 显式 |
| 可视化 | ✅ 直观 | 需解码 | ✅ 占用图 |
| 规划适用性 | 中等 | 好 | 最好 |
| 纹理细节 | ✅ 丰富 | 包含部分 | ❌ 无 |
🌐 世界模型的三大应用场景
(a) 数据增强
用世界模型生成训练场景，补充数据分布中稀有的组合。
技术路径：
- 指定条件（天气、位置、车流密度、事件类型）
- 世界模型生成对应的视频
- 自动标注（预训练感知模型的伪标签）
痛点：
- 生成多样性不够，模型容易对生成数据过拟合
- 生成分布与真实分布有 gap，需要 domain adaptation
- “指定某个物体出现在某位置"的精确控制依然困难
(b) 规划代价函数
用世界模型的预测结果来评估轨迹的安全性，而非直接用碰撞检测。
技术路径：
- latent-based：在潜在空间评估轨迹的"可预测性”（ReWorld）
- occupancy-based：在预测的占用网格中计算碰撞概率（OccWorld）
- pixel-based：用视频逆向图的时间一致性评估轨迹
为什么重要：
- 传统方法用规则（如 TTC < 阈值）判断安全，泛化性差
- 世界模型提供了数据驱动的 safety critic——如果一个轨迹让世界模型的高维预测变得混乱，那它大概率不安全
(c) 策略预训练
在想象中学习策略（model-based RL），无需真实交互。
技术路径：
- 学一个世界模型
- 在模型的"想象"中 rollout 大量轨迹
- 用 RL 在想象轨迹上训练策略（Dreamer V3 范式）
挑战：
- 世界模型在分布外区域的预测不可靠，“在错误的想象上学习"会加剧策略偏差
- 驾驶奖励极度稀疏（事故极少），RL 收敛困难
- 需要高质量的探索机制来发现安全边界
⏱️ 发展脉络与时间线
发展趋势
- 像素 → 潜在 → 占用：预测空间从密集走向稀疏，从"看起来真"走向"物理上对”
- 开环 → 闭环：从固定的视频生成演变到可根据自车动作实时反应的交互式仿真
- 生成 → 规划：世界模型从"数据生成工具"升级为"规划基础设施"
- 扩散 → 流匹配：Flow Matching 正在逐步替代扩散模型头，实现更快的推理速度
📋 主要驾驶世界模型对比总表
| 模型 | 年份 | 团队 | 预测空间 | 骨干架构 | 条件类型 | 时序建模 | 规划服务 | 开源 |
|---|---|---|---|---|---|---|---|---|
| GAIA-1 | 2023 | Wayve | 像素 | VQGAN + 自回归 | 文本/命令/历史帧 | 因果注意力 | ❌ | ❌ |
| DriveDreamer | 2024 | 上海 AI Lab | 像素 | LDM + CausalVAE | HDMap + 3D bbox + 动作 | Causal VAE | 部分 | ❌ |
| OccWorld | 2024 | 上海 AI Lab | 占用 | 场景 Transformer | 动作 | 时序 Transformer | ✅ 碰撞检测 | ✅ |
| Vista | 2024 | Wayve | 像素 | DiT | 动作值 | 时序注意力 | ✅ 闭环仿真 | ❌ |
| World4Drive | 2024 | 多单位 | 潜在 | RSSM + VAE | 动作 | 变分预测 | ✅ MPPI | ❌ |
| Cosmos | 2025 | NVIDIA | 像素 | DiT + Causal Video VAE | 文本/动作 | 因果时序注意力 | 部分 | ❌ |
| ReWorld | 2025 | 学界 | 潜在 | 扩散/RNN | 动作 | 变分预测 | ✅ 奖励 | ❌ |
| MagicDrive | 2024 | 华科 | 像素 | DiT | 3D bbox + 相机参数 | 时序注意力 | ❌ | ✅ |
| NIFF | 2025 | 学界 | 占用 | Neural Flow | 动作 | 未来流预测 | ✅ | ❌ |
| LAW | 2025 | 学界 | 潜在 | LSTM + VAE | 动作 | 双重一致性 | ❌ | ❌ |
💭 个人思考
世界观模型在短短两年内经历了从"0 到 1"的爆发。2023 年 GAIA-1 还是孤例，2025 年已有数十种方法。但我认为有三个关键判断值得关注：
像素空间方法不适合做实时规划。扩散模型 20-50 步的采样速度与车端要求的 30FPS 之间有数量级的差距。像素级预测的大部分计算资源被浪费在渲染纹理细节上，而这些纹理对规划没有贡献。长期看，规划用的世界模型一定是潜在空间或占用空间的。
“闭环"是一种"伪闭环陷阱”。很多方法声称支持闭环仿真，但实际做的是"开环预测的拼接"——每一步预测都用上一帧的预测结果作为输入，误差迅速积累，跑 10 秒以上画面就崩了。真正的闭环需要世界模型对自身的预测误差有"校准"机制，比如每 N 帧用真实观测做一次修正。
世界模型的评测比模型本身更紧迫。现在每个方法都宣称 FVD 最低，但 FVD 不评估物理合理性。如果一个世界模型拿去做规划，表现比随机策略还差，那它的 FVD 再低也没有意义。业界需要一个 “World Model Benchmark”——用世界模型辅助规划器在闭环中跑出多少分作为最终的评判标准。