📄 论文信息
| 项目 | 内容 |
|---|---|
| 标题 | Uni-World VLA: Interleaved World Modeling and Planning for Autonomous Driving |
| 团队 | 复旦大学、上海创新研究院、理想汽车、萨里大学（Qiqi Liu, Huan Xu 等） |
| 发表 | arXiv 2603.27287，2026 年 3 月；投稿 ECCV 2026 |
| 代码 | https://github.com/LogosRoboticsGroup/UniWorldVLA |
| 关键词 | 交错生成、世界模型、VLA、闭环规划、单目深度、NAVSIM |
一句话概括：Uni-World VLA 提出交错式世界建模与规划（Interleaved World Modeling and Planning）范式，在自回归架构中逐帧交替生成未来帧和动作轨迹，形成世界预测与控制决策之间的闭环反馈；同时引入 Depth Anything 3 的单目深度信息作为几何先验。在 NAVSIM 上以纯单目 RGB（SC）达到 89.4 PDMS，超越多传感器融合方法。
🤔 要解决什么问题？
现有统一世界模型的范式分类
将世界模型与轨迹规划融合到单一框架中已成为 VLA 自动驾驶的重要趋势。根据任务的时间组织方式，已有工作可分为两种范式：
| 范式 | 代表方法 | 流程描述 | 核心缺陷 |
|---|---|---|---|
| 并行 Predict-and-Plan | DrivingGPT, VaVIM | 同一序列中同时预测下一帧和动作 | 任务功能解耦，世界模型输出不指导规划 |
| 串行 Predict-then-Plan | PWM, Epona, ImagiDrive, SGDrive | 先 rollout 完整未来再基于生成帧规划 | 隐含"环境静止"假设，生成后无法修正 |
“冻结的未来幻觉”——两种范式的共同缺陷
无论并行还是串行，两者都有一个致命的共同问题：当世界模型生成多秒的未来 rollout（如 4 秒）时，它本质上是在创造一个"冻结的未来幻觉"。原因在于：真实驾驶场景是非平稳的——自车与周围交通体之间存在持续的交互作用。如果 rollout 假设一个固定的初始意图不再更新，那么后期帧中自车路径已经偏离了初始假设，导致视觉证据与实际决策之间的错位。
论文给出了一个具体例子：无保护左转或合流场景中，如果世界模型在第 0 秒生成了一个 4 秒的 rollout，它假设了第 0 秒的自车意图会持续不变。但实际上，自车在 0.5 秒时可能因为对向车辆而轻微刹车，这个调整没有被 rollout 捕获。当规划器查看第 3 秒的视觉帧时，这帧画面已经过时了——它展示的仍然是假设自车没刹车时的场景。
核心创新：从开环到闭环的交错生成
Uni-World VLA 的核心洞察是：正确的方式应该是先生成一步未来画面，据此规划一步动作，再将这一步的信息反馈回去生成下一步，如此循环往复。这形成了世界模型与规划器之间实时的闭环反馈，每一步的决策都基于最新预测的环境状态。
图 1 解析：比较了统一世界模型的三种生成范式。(a) 并行方式将视频生成和规划作为独立任务在同一架构中各自为政，两者之间没有信息反馈；(b) 串行方式先生成全部未来帧再规划轨迹，规划器看到的第 3 秒画面无法反映 0.5 秒时的自车调整——论文称之为"冻结的未来幻觉"（frozen hallucination）；(c) Uni-World VLA 的交错方式，视觉 token 和 action token 交替生成，每一步的规划决策都基于最新预测的未来观测，形成预测与控制的闭环交互。
🧠 方法详解
架构总览
Uni-World VLA 的骨干架构基于 Show-o（一个 Phi-1.5 初始化的多模态 LLM），并继承自 PWM（Policy World Model）的权重初始化。视觉采用 MagVIT-v2 双分支 tokenizer，深度采用 Depth Anything 3。核心是自回归架构中视觉 token 和动作 token 的交替生成。
图 2 解析：(a) 多模态历史信息的构建——RGB 图像经 MagVIT-v2 编码为 contextual tokens（高分辨率，提供场景语义）和 dynamic tokens（低分辨率，捕捉运动线索）；深度图经 Depth Anything 3 估计后，分别由 Context Depth Encoder (CDE) 和 Dynamic Depth Encoder (DDE) 编码，再通过 Cross-Attention 与视觉 token 融合。Ego 状态（速度、加速度、驾驶指令）通过 MLP 直接投影到 embedding 空间。(b) 交错帧-动作生成范式——模型输出按 [0.5s F] → [0.5s A] → [1.0s F] → [1.0s A] → ... → [4.0s F] → [4.0s A] 的 2 Hz 交替序列排列，每一步动作的预测都基于最新生成的未来帧。
1. 输入与 Tokenization
给定 $M$ 帧历史图像 ${I_{t-M},\dots,I_{t-1}}$（其中 $M$ 对应 2 秒历史），每帧经 MagVIT-v2 编码为两组离散 token：
$${c,d}=\mathrm{Encoder}_{\mathrm{MagVIT}}(I)$$其中 $c$ 为 contextual tokens（高分辨率分支 $256\times448$，每帧 448 个 token），$d$ 为 dynamic tokens（低分辨率分支 $128\times224$，每帧 28 个 token）。
为了同时捕获环境语境和时间动态，历史视频流被划分为两种模态：
- Contextual tokens：高分辨率帧，提供详细场景语义和结构信息
- Dynamic tokens：以 10Hz 采样、低分辨率，捕捉精细运动线索和短期时序变化
辅助信息包括自车速度、加速度和高层驾驶指令，通过 MLP 投影到 embedding 空间。模型输入组织为聊天式上下文：
[System Prompt | Dynamic & Contextual Tokens | User Prompt | Ego Tokens]
2. 交错帧-动作生成
模型生成 $N=8$ 个未来帧（对应 4.0 秒预测范围，帧间隔 0.5 秒）。生成过程严格遵循因果交替——每一步先预测视觉 token，再基于它预测动作 token：
$$\hat{d}_{t+k} \sim p_{\theta}(d_{t+k} \mid \hat{d}_{\leq t+k-1}, \hat{a}_{\leq t+k-1}) \tag{2}$$$$\hat{a}_{t+k} \sim p_{\theta}(a_{t+k} \mid \hat{d}_{\leq t+k}, \hat{a}_{\leq t+k-1}) \tag{3}$$每一步 $\hat{d}$ 和 $\hat{a}$ 交替出现：先生成画面，再基于该画面规划动作，然后将这一步的状态作为下一步的上下文。这种设计保证了每一步的规划决策都能看到最新的预测环境状态。
3. 解码与输出
视觉 token 经 MagVIT-v2 解码器重建为 RGB 帧，并使用 contextual token 提供逐秒级视觉引导：
$$\hat{I}_{t+k}=\mathrm{Decoder}_{\mathrm{MagVIT}}(\hat{d}_{t+k};c_{t+2\lfloor k/2\rfloor}) \tag{4}$$动作 token 经 MLP head 回归为自车位置 $\hat{a}{t+1},\dots,\hat{a}{t+N}$，构成 4 秒规划轨迹。
4. 注意力掩码与训练策略
图 3 解析：(a) 交错序列用于联合视频生成和轨迹监督——训练时未来帧和动作 query 按交错顺序排列，LLM 对两者同时进行推理和监督。(b) 因果注意力掩码——生成未来帧时，当前帧内 token 可以 双向交互（intra-frame bi-directional）以捕捉丰富的空间依赖性，帧间保持因果掩码（causal masking）保证时序因果性。这种设计受 PWM 启发，对于生成相邻视觉区域的一致预测至关重要。(c) 自回归交错推理——从 $I_t$ 开始，先生成 $t+1$ 的视觉 token，解码为 RGB，再输入 action query 预测动作，然后重复此过程直到 $N$ 帧全部生成完毕。推理时复用 KV-cache 提升效率。
5. 训练目标
视觉预测采用 Dynamic Focal Loss（受 PWM 启发），解决了直接使用交叉熵损失时相邻帧大量 token 保持不变导致的退化问题：
$$\omega(d_{t+k}^{i},d_{t+k-1}^{i})=\alpha\mathbb{I}(d_{t+k}^{i}\neq d_{t+k-1}^{i})+\beta\mathbb{I}(d_{t+k}^{i}=d_{t+k-1}^{i}),\quad\alpha>\beta \tag{5}$$其中 $\alpha>\beta$ 使得变化区域的 token 获得更高权重，迫使模型关注动态区域。
$$\mathcal{L}_{\text{dyn}}=-\frac{1}{N}\sum_{k=1}^{N}\sum_{i=1}^{L}\omega(d_{t+k}^{i},d_{t+k-1}^{i})\log p_{\theta}(d_{t+k}^{i}\mid\cdots) \tag{6}$$轨迹预测采用 L1 loss：
$$\mathcal{L}_{\text{traj}}=\frac{1}{N}\sum_{k=1}^{N}\lVert\hat{a}_{t+k}-a_{t+k}\rVert_{1} \tag{7}$$总损失函数为加权组合：
$$\mathcal{L}=\lambda_{1}\mathcal{L}_{\text{dyn}}+\lambda_{2}\mathcal{L}_{\text{traj}} \tag{8}$$6. 深度信息融合模块
采用 Depth Anything 3（DA3）估计单目深度图 $D=\text{DepthAnything3}(I)$。深度图被 resize 为两个分辨率：
- $256\times448$ 输入 Context Depth Encoder (CDE)
- $128\times224$ 输入 Dynamic Depth Encoder (DDE)
CDE 和 DDE 基于 MagVIT-v2 架构初始化。视觉 token embedding 作为 query，深度特征作为 key/value，通过 Cross-Attention 完成融合：
$$E_{q,c}=\text{Embed}(c),\; E_{q,d}=\text{Embed}(d) \tag{9}$$$$E_{\text{fused},c}=\text{CA}(E_{q,c},D_{k,c},D_{v,c}),\; E_{\text{fused},d}=\text{CA}(E_{q,d},D_{k,d},D_{v,d}) \tag{10}$$两阶段训练策略：
| 阶段 | 冻结模块 | 训练模块 | 学习率 | Epochs | 监督 |
|---|---|---|---|---|---|
| Stage 1：深度预训练 | 基座模型（Show-o/PWM） | CDE + DDE | $3\times10^{-5}$ | 5 | 仅 10Hz/1s 无动作视频预测 |
| Stage 2：多模态联合 | CDE + DDE | 融合模块 + 基座模型 | $2\times10^{-5}$ | 16 | 交错 Frame+Action（Scheme E） |
Stage 1 让深度编码器先学会提取有用的几何特征而不干扰基座模型；Stage 2 冻结深度编码器，让基座模型学会如何利用深度增强的视觉特征进行交错生成。这种渐进式训练有效避免了多模态之间的灾难性干扰。
🏗️ 架构流程总览
推理阶段详细步骤
| 步骤 | 操作 | 输入/条件 | 输出 | 说明 |
|---|---|---|---|---|
| 1 | 历史图像编码 | ${I_{t-M},\dots,I_{t-1}}$，$M=2$s | contextual tokens $c$ + dynamic tokens $d$ | MagVIT-v2 双分支 |
| 2 | 深度估计与编码 | 历史图像 $I$ | 深度特征 $D_{k,c},D_{v,c},D_{k,d},D_{v,d}$ | DA3 + CDE/DDE |
| 3 | Cross-Attention 融合 | $E_{q,c}\leftrightarrow D_{k,c}$ / $E_{q,d}\leftrightarrow D_{k,d}$ | 融合特征 $E_{\text{fused},c},E_{\text{fused},d}$ | 视觉 query × 深度 KV |
| 4 | 循环生成（$k=1..N$） | [System|Fused Tokens|User|Ego Tokens] | $\hat{d}{t+k}$ 和 $\hat{a}{t+k}$ | LLM 自回归交错 |
| 5 | 帧解码 | $\hat{d}{t+k}$ + $c{t+2\lfloor k/2\rfloor}$ | RGB 帧 $\hat{I}_{t+k}$ | MagVIT-v2 Decoder |
| 6 | 轨迹解码 | $\hat{a}_{t+k}$ → MLP head | 自车位置/轨迹 | 4 秒规划输出 |
训练阶段设置
| 配置项 | 参数值 |
|---|---|
| 基座模型 | 从 PWM 初始化（Show-o → Phi-1.5 链路） |
| Tokenizer | MagVIT-v2，双分支，各 8192 词表 |
| 历史长度 | 2 秒（4 帧 @ 2Hz） |
| 预测范围 | 4 秒（8 帧 @ 2Hz） |
| 优化器 | AdamW |
| GPU 数量 | 32× NVIDIA H20 |
| Batch size | 3 per GPU |
| 输入视角 | 前置单目 |
| 最佳 epoch | 16（基于 PDMS 选择） |
🔬 实验与结果
实验设置
数据集：NAVSIM 高保真驾驶模拟器，提供自中心 RGB 序列、车辆状态信息和结构化标注。按官方 train/val/test 划分，帧间隔 0.5 秒。
评估指标：
- PDMS（Predictive Driver Model Score）：包含 5 个子指标——NC（无碰撞）、DAC（可行驶区域合规）、EP（自车进展）、TTC（碰撞时间）、Comfort（舒适度）
- FVD（Fréchet Video Distance）：评估生成视频的分布级真实感
NAVSIM 闭环规划主实验结果
| 方法 | 输入 | NC ↑ | DAC ↑ | EP ↑ | TTC ↑ | Comf. ↑ | PDMS ↑ |
|---|---|---|---|---|---|---|---|
| 传统端到端方法 | |||||||
| VADv2-$\nu_{8192}$ | C | 97.2 | 89.1 | 76.0 | 91.6 | 100.0 | 80.9 |
| UniAD | C | 97.8 | 91.9 | 78.8 | 92.9 | 100.0 | 83.4 |
| TransFuser | C&L | 97.7 | 92.8 | 79.2 | 92.8 | 100.0 | 84.0 |
| ReCogDrive-IL | SC | 98.1 | 94.7 | 80.9 | 94.2 | 100.0 | 86.5 |
| DiffusionDrive | C&L | 98.2 | 96.2 | 82.2 | 94.7 | 100.0 | 88.1 |
| 世界模型方法 | |||||||
| DrivingGPT | SC | 98.9 | 90.7 | 79.7 | 94.9 | 95.6 | 82.4 |
| Epona | SC | 97.9 | 95.1 | 80.4 | 93.8 | 99.9 | 86.2 |
| ImagiDrive-A | SC | 98.1 | 96.2 | 80.1 | 94.4 | 100.0 | 86.9 |
| DriveVLA-W0 | SC | 98.4 | 95.3 | 80.9 | 95.4 | 100.0 | 87.2 |
| SGDrive-IL | SC | 98.6 | 95.1 | 81.2 | 95.4 | 100.0 | 87.4 |
| PWM | SC | 98.6 | 95.9 | 81.8 | 95.4 | 100.0 | 88.1 |
| WoTE | C&L | 98.5 | 96.8 | 81.9 | 94.9 | 99.9 | 88.3 |
| ResWorld | C&L | 98.9 | 96.5 | 83.1 | 95.6 | 100.0 | 89.0 |
| Uni-World VLA (Ours) | SC | 98.7 | 96.7 | 83.2 | 96.1 | 100.0 | 89.4 |
Uni-World VLA 以纯单目相机（SC）输入达到 89.4 PDMS，超越全部多传感器融合方法。在 EP（83.2）和 TTC（96.1）上取得最优，表明交错生成范式有效提升了自车进展效率和执行安全性。
视频生成质量对比
| 方法 | FVD ↓ | 最大时长/帧率 | 数据集 | 视角 |
|---|---|---|---|---|
| WoVoGen | 417.7 | 2.5s/2Hz | nuScenes | Multi |
| DriveDreamer | 340.8 | 4s/2Hz | nuScenes | Multi |
| SVD | 227.5 | 4s/2Hz | NAVSIM | Front |
| DrivingGPT | 142.6 | 4s/2Hz | NAVSIM | Front |
| GenAD | 184.0 | 4s/2Hz | OpenDV | Front |
| Uni-World VLA | 141.8 | 4s/2Hz | NAVSIM | Front |
消融实验
预训练 + 未来帧 + 深度的影响（Table 3）：
| Pretrain | Future Frames | Depth | NC | DAC | EP | TTC | Comf. | PDMS | FVD |
|---|---|---|---|---|---|---|---|---|---|
| × | × | × | 97.1 | 91.4 | 77.4 | 91.5 | 100.0 | 82.1 | — |
| ✓ | × | × | 98.8 | 95.8 | 82.0 | 95.8 | 100.0 | 88.2 | — |
| ✓ | ✓ | × | 98.8 | 96.5 | 82.9 | 96.4 | 100.0 | 89.2 | 164.2 |
| ✓ | ✓ | ✓ | 98.7 | 96.7 | 83.2 | 96.1 | 100.0 | 89.4 | 141.8 |
关键发现：预训练带来最大提升（+6.1 PDMS），未来帧生成进一步提升（+1.0），深度信息在视频质量上提升显著（FVD -22.4）。
交错方案消融（Table 4，无深度）：
| 方案 | 模式 | PDMS |
|---|---|---|
| A-跨频率交替 | 不等间隔 F→A | 88.3 |
| B-高频动作-帧 | 10Hz 密集 F→A | 86.1 |
| C-混合密→疏 | 第 1s 密集 + 后续 2Hz | 87.8 |
| D-滑动 1s 窗口 | 重叠动作窗口 | 85.7 |
| E-2Hz 对齐交错 | 严格 F→A @ 2Hz | 89.2 |
Scheme E（2Hz 严格 F→A 交替）显著优于其他方案。一个反直觉的发现：高频交替（B）反而最差（86.1），说明训练频率与评估/规划频率的对齐比密度更重要。
历史视觉信息的影响（Table 5）：
| 配置 | NC | DAC | EP | TTC | Comf. | PDMS | FVD |
|---|---|---|---|---|---|---|---|
| 2.0s Context+Dynamic | 98.8 | 96.5 | 82.9 | 96.4 | 100.0 | 89.2 | 164.2 |
| 1.0s Context+Dynamic | 99.0 | 96.4 | 81.4 | 96.7 | 100.0 | 88.8 | 170.7 |
| Context Only | 98.6 | 96.8 | 82.3 | 96.2 | 100.0 | 89.1 | 165.5 |
| Dynamic Only | 97.4 | 90.8 | 76.2 | 92.3 | 100.0 | 81.7 | 203.6 |
Contextual tokens 提供空间语义，dynamic tokens 提供运动线索，两者结合在更长的历史窗口上达到最佳平衡。
图 4 解析：预测未来帧与对应 BEV 轨迹可视化。Uni-World VLA 生成的时间一致性视觉动态更为稳定，规划轨迹平滑且安全，能尊重车道几何和周围交通体。红色折线为预测轨迹，绿色为真值。相比基线方法，预测运动更稳定、与合理驾驶行为的对齐更好。
图 5 解析：2.0s 时两者重建效果尚可；3.0s 时无深度模型在高速驾驶场景下出现模糊结构；4.0s 转弯时深度融合模型保持了更清晰的空间布局和几何线索。FVD 从 164.2 降至 141.8，验证了深度信息在长程预测中的几何约束作用。
📊 与相关方法对比分析
与主流统一世界模型/VLA 的深度对比
| 方法 | 世界模型范式 | 预测-规划耦合 | 深度/几何线索 | 输出频率 | NAVSIM PDMS |
|---|---|---|---|---|---|
| DrivingGPT | 并行 Predict-and-Plan | 同一序列并列，无交互 | ✗ | 2Hz | 82.4 |
| Epona | 串行 Predict-then-Plan | 先 rollout 后规划，单向 | ✗ | 2Hz | 86.2 |
| PWM | 串行联合预测 | 同时预测 state+action，非交替因果 | ✗ | 2Hz | 88.1 |
| ImagiDrive | 串行 VLM 想象 | VLM 先想象再预测轨迹 | ✗ | 2Hz | 86.9 |
| DriveVLA-W0 | 串行级联 | 感知→预测→规划三阶段 | ✗ | — | 87.2 |
| SGDrive-IL | 分层串行 | 场景图→目标→轨迹 | ✗ | — | 87.4 |
| ResWorld | 串行残差预测 | 先预测残差世界再规划 | ✗ | 2Hz | 89.0 (C&L) |
| WoTE | 串行 | 世界 model token 辅助规划 | ✗ | — | 88.3 (C&L) |
| Uni-World VLA | 交错（闭环） | 逐帧交替 F→A，因果反馈 | DA3 Cross-Attention | 2Hz 严格交替 | 89.4 (SC) |
Uni-World VLA 的独特贡献不在于引入新的 backbone 或更大的参数量，而在于从根本上改变了世界模型和规划器之间的交互方式：
从开环到闭环：现有方法要么并行处理（预测和规划互不干扰），要么串行处理（先 rollout 再规划，单向信息流）。Uni-World VLA 建立了预测→规划→预测的闭环反馈回路，更接近人类驾驶的认知过程。
频率对齐策略：Scheme E 消融实验表明，2Hz 严格 F→A 交替显著优于 10Hz 高频交替（PDMS 89.2 vs 86.1）。这揭示了训练-评估频率对齐的重要性——盲目追求更高帧率反而会因频率不匹配而损害性能。
深度几何线索的实用融合：不同于其他方法完全依赖 RGB，Uni-World VLA 通过两阶段训练和 Cross-Attention 机制将单目深度作为几何先验融入历史编码阶段。深度信息不是在生成阶段引入，而是在历史帧编码时提供额外的空间线索，帮助模型更好地理解场景几何结构。
💡 个人思考
“冻结幻觉"是一个被严重低估的范式缺陷：几乎所有现有世界模型方法都假设未来 rollout 与规划是解耦的。Uni-World VLA 敏锐地指出——在复杂城市场景中，交通状况快速变化，自车早期（如 0.5s）的微小调整（轻微刹车/转向）会根本性地改变后续场景演化。如果预测时不考虑这个反馈，第 3 秒的视觉证据就是无效的。这个洞察重新定义了"世界模型应该预测什么”——不是预测一个固定的未来，而是预测一个会随着自车调整而不断变化的未来。
频率对齐比密度更重要——工程上的重要教训：Scheme B（10Hz 密集交替）比 Scheme A（跨频率交替）更差（86.1 vs 88.3），而最简方案 Scheme E（2Hz 严格 F→A 交替）达到了最优 89.2。这揭示了 VLA 系统时序设计中的关键原则：预测频率必须与决策频率对齐。训练时用 10Hz 密集交替但测试时只评估 2Hz，带来了训练-测试不匹配（train-test mismatch）。这个发现对任何时序预测系统的设计都有借鉴意义。
Cross-Attention 深度融合是优雅的几何信息引入方式：Uni-World VLA 没有简单地将深度图作为额外通道拼接到 RGB，而是通过专用深度编码器提取特征，再以 Cross-Attention 与视觉 token 融合。优势在于：(1) 深度编码器可独立预训练，不干扰视觉编码器；(2) Cross-Attention 允许视觉 token 自适应地"查询"深度信息；(3) 两阶段训练策略有效避免灾难性遗忘。这种"即插即用"的设计范式值得推广。
单目超越多传感器——信息利用效率的胜利：Uni-World VLA 以纯单目（SC）达到 89.4 PDMS，超越使用 Camera+LiDAR 的 ResWorld（89.0）和 DiffusionDrive（88.1）。这传递了强烈信号：信息利用方式比传感器数量更重要。交错生成机制使模型从单目图像中提取更多决策相关信息，而多传感器方法可能面临模态间冗余和融合不充分的问题。随着模型能力增强，单纯增加传感器的边际收益正在递减。
从 PWM 初始化是最关键的工程决策：消融实验显示，不使用预训练时 PDMS 仅 82.1，使用 PWM 预训练后跃升至 88.2——近 6 个点的提升来自初始化。这说明在 VLA 系统中，基座模型的选择和初始化对最终性能的影响远超架构创新。PWM → Show-o → Phi-1.5 的初始化链路是 Uni-World VLA 成功的关键基础设施。
世界模型正从"概念验证"走向"核心基础设施"：Uni-World VLA 的交错范式虽然目前仅在 NAVSIM 上验证，但其核心思想——世界模型和规划器必须在时序上紧密耦合——对自动驾驶 VLA 系统的设计具有深远影响。未来方向包括：(1) 多相机扩展结合跨视角深度一致性；(2) 更长预测窗口配合 KV-cache 实现流式推理；(3) 在闭环仿真中与 RL 训练相结合。Uni-World VLA 在"预测-规划闭环"这条路径上迈出了关键一步，为下一代 VLA 系统提供了重要的设计原则。
参考文献：Liu, Q., Xu, H., Li, J., et al. Uni-World VLA: Interleaved World Modeling and Planning for Autonomous Driving. arXiv:2603.27287, 2026. https://arxiv.org/abs/2603.27287