📄 论文信息
- 标题：ExploreVLA: Dense World Modeling and Exploration for End-to-End Autonomous Driving
- 团队：Bosch Research North America & Bosch Center for Artificial Intelligence × University of Wisconsin–Madison
- 作者：Zihao Sheng（一作，威斯康星麦迪逊，实习于 Bosch）、Xin Ye、Jingru Luo、Sikai Chen、Liu Ren
- arXiv：2604.02714（2026 年 4 月，cs.CV）
- 项目主页：https://zihaosheng.github.io/ExploreVLA/
- 一句话总结：把密集世界建模（未来 RGB + 深度图生成）和世界模型不确定性探索奖励统一在一个 VLA 框架中，用安全门控 GRPO 优化策略，在 NAVSIM 以 93.7 PDMS / 88.8 EPDMS 刷新 SOTA。
图1：三种 VLA 训练范式对比。(a) 模仿学习直接克隆专家演示，无探索；(b) 传统 RL 支持探索但无法区分专家复制与真正的分布外发现；(c) ExploreVLA 借助密集世界建模（未来图像生成），用图像预测不确定性作为新奇度指标，识别并鼓励有价值的探索策略。
🤔 要解决什么问题？模仿学习的天花板与探索的缺失
VLA 模型已是端到端自动驾驶的主流范式，但 ExploreVLA 指出两个根本性缺陷：
问题一：行为克隆无法发现更好的策略。 模仿学习受限于训练数据分布，遇到 OOD 场景时表现脆弱。RL 天然适合解决此问题，但离线 VLA 无法与环境交互，需要学一个世界模型来预测动作后果。
问题二：监督信号过于稀疏。 多数方法仅以文本和轨迹 waypoints 为训练目标，丢失了道路拓扑、物体边界、深度排序等细粒度空间信息，这些信息对安全规划至关重要。
已有世界模型的局限
此前世界模型相关工作存在两个不足：(1) 粗粒度监督——DriveVLA-W0 等生成 BEV occupancy 或稀疏语义，WoTE、OmniNWM 用 latent 预测，缺乏密集像素级约束；(2) 缺乏探索信号——现有 RL 仅用 PDMS 等任务奖励，无法区分"复制专家"和"发现新策略"。
对比同期工作：AlphaDrive / Gen-Drive 同样用 GRPO 但奖励仅基于任务指标；DriveVLA-W0 输出 BEV occupancy 而非密集 RGB + 深度；VLA-World 用生成帧做反思推理而非探索奖励。ExploreVLA 的独特之处是将密集世界建模从"辅助监督"提升为"探索引擎"。
💡 核心方法：密集世界建模 + 不确定性驱动的探索
核心洞察很简洁：一个框架同时解决监督稀疏和探索缺失。在轨迹预测之外增加"世界模型头"，联合预测未来 RGB 和深度图：
- 密集监督：RGB + 深度生成迫使模型学习细粒度视觉外观和度量几何，为规划骨干提供丰富梯度
- 探索奖励：世界模型的图像预测不确定性天然衡量轨迹相对于训练分布的新奇度——高不确定性 = OOD 场景，若同时安全则值得奖励
统一理解与生成架构
ExploreVLA 的整体架构如下：
图2：ExploreVLA 模型架构与训练流程。输入包括任务指令、多帧图像和自车状态，输出联合预测未来轨迹与未来图像。训练分两阶段：(1) 模仿学习阶段——预训练图像生成 + 联合轨迹与图像监督微调；(2) 强化学习阶段——GRPO 优化策略，奖励由 PDMS 和基于图像的探索奖励组成。
输入输出形式化：
- 输入 $\mathcal{X} = {\mathcal{I}_{t-K+1..t}, \mathcal{T}, \mathcal{S}_t}$，$\mathcal{I}_t$ 为单目图像（$256 \times 448$），$\mathcal{S}_t = [v_t, a_t, \omega_t]$ 为自车状态
- 输出 三部分：未来轨迹 $\boldsymbol{\tau} = {(x, y, \theta)}$（4 秒，8 waypoints）、未来 RGB $\hat{\mathcal{I}}{t+1}$、未来深度 $\hat{\mathcal{D}}{t+1}$
架构： 基于 Show-o（Phi-1.5 + MAGVIT-v2，codebook 8,192）。输入帧 $256 \times 448$ 经 $16 \times 16$ patch 离散化后与文本 tokens、MLP 投影的自车状态 tokens 拼接送入共享 Transformer。
骨干输出分两支：规划头解码 trajectory waypoints，世界模型头解码未来 RGB + 深度。注意力设计上规划头用因果注意力（看不到未来生成 tokens），世界模型头用全注意力——确保规划独立于未来推断。
密集世界建模目标
世界模型头的训练目标包含两个部分：
RGB 生成： 图像级回归，损失为 L1 + LPIPS：
$$\mathcal{L}_{\text{rgb}} = \|\hat{\mathcal{I}}_{t+1} - \mathcal{I}_{t+1}\|_1 + \lambda_{\text{lpips}} \cdot \text{LPIPS}(\hat{\mathcal{I}}_{t+1}, \mathcal{I}_{t+1})$$L1 保像素准确，LPIPS 保感知质量。
深度生成： 尺度不变的几何回归：
$$\mathcal{L}_{\text{depth}} = \frac{1}{N} \sum_{i} \left\| \log \hat{d}_i - \log d_i \right\|_1$$对数 L1 对远近物体施加平衡梯度。
联合的世界模型损失为：
$$\mathcal{L}_{\text{wm}} = \mathcal{L}_{\text{rgb}} + \alpha \cdot \mathcal{L}_{\text{depth}}$$其中 $\alpha$ 平衡权重。深度 GT 由 Metric3D 离线生成。这迫使骨干编码道路拓扑、物体边界等细粒度信息——只有表征足够丰富，才能支撑像素级未来帧预测。
世界模型不确定性驱动的探索奖励
核心洞察：世界模型在专家演示上训练，它对图像的预测不确定性天然编码了轨迹相对于训练分布的新奇度。
对初始帧采样 $M$ 个候选未来图像 ${\hat{\mathcal{I}}^{(1..M)}}$，计算每像素预测方差：
$$b_i = \frac{1}{HW} \sum_{h,w} \text{Var}\left(\{\hat{\mathcal{I}}^{(m)}_{h,w}\}_{m=1}^{M}\right)$$其中 $\text{Var}({x_m}) = \frac{1}{M} \sum_{m} |x_m - \bar{x}|_2^2$。高方差意味着模型对场景"不熟悉"——轨迹处于训练分布之外。
图3：探索奖励分析。左图：探索奖励与 GT 轨迹的 L2 误差呈正相关。右图：探索奖励能正确衡量 L2 误差无法捕捉的轨迹新奇度（比如相同的路径但不同的速度模式）。
表3：L2 误差与探索奖励在 1000 个随机选出的直行场景上的对比（两种扰动设置）。L2 误差在两种情况下都错误判断了轨迹新奇度，而探索奖励正确地将速度变化判定为低新奇度（相同路径），将方向变化判定为高新奇度（不同路径）。
安全门控奖励
高不确定性不等于好的探索——一个导致碰撞的轨迹虽然新颖但无益。因此作者引入 PDMS 安全门控：
$$R_i = \begin{cases}\text{PDMS}_i + \lambda \cdot b_i, & \text{if } \text{PDMS}_i > \delta, \\ \text{PDMS}_i, & \text{otherwise.}\end{cases}$$$\delta$ 为安全阈值，$\lambda$ 控探索强度。只有安全轨迹（PDMS > $\delta$）才获探索奖励。这确保模型优先探索同时具备高新奇度和高质量的轨迹。
GRPO 策略优化
ExploreVLA 使用 GRPO 优化策略，核心思想是对每个场景采样一组候选轨迹，以组内相对优势计算策略梯度：
$$\mathcal{L}_{\text{GRPO}} = -\frac{1}{G} \sum_{i=1}^{G} \left[ \frac{\pi_{\theta}(\tau_i|x)}{\pi_{\theta_{\text{old}}}(\tau_i|x)} \cdot A_i - \beta \cdot \text{KL}(\pi_{\theta} \| \pi_{\text{ref}}) \right]$$其中 $A_i = (R_i - \mu_R)/\sigma_R$ 为组内标准化优势，$\beta$ 控 KL 正则化。GRPO 不需要价值网络，完全依赖组内比较，降低训练复杂度。
两阶段训练策略
Stage 1：模仿学习（Imitation Learning）。 分两步：
- Step 1a：预训练世界模型头——在大量驾驶数据上预训练图像生成能力
- Step 1b：联合监督微调（SFT）——同时优化 trajectory prediction、RGB 生成和深度生成
Stage 1 的损失为：
$$\mathcal{L}_{\text{stage1}} = \mathcal{L}_{\text{traj}} + \mathcal{L}_{\text{rgb}} + \alpha \cdot \mathcal{L}_{\text{depth}}$$Stage 2：强化学习（Reinforcement Learning）。 固定世界模型头参数，仅优化规划头。对每帧图像采样 $K$ 个候选轨迹，计算它们的 PDMS 和世界模型不确定性 $b_i$，组成安全门控奖励 $R_i$，然后用 GRPO 更新策略。GRPO 的 group size 设为 $G=8$，KL 惩罚系数 $\beta=0.01$，clip 范围 $\epsilon=0.1$。安全阈值 $\delta$ 设为 0.9，探索奖励权重 $\lambda$ 设为 0.5。LoRA 微调 rank 为 32，学习率降至 $3 \times 10^{-6}$。
所有实验在 4 块 H200 GPU 上完成。Stage 1 每 GPU batch size 为 8，Stage 2 每 GPU batch size 为 1。优化器统一使用 AdamW。
🧪 实验：NAVSIM SOTA + 系统性消融
主要结果
NAVSIM v1 结果（PDMS 指标）：
表1：NAVSIM v1 基准对比。ExploreVLA 以 93.7 PDMS（best-of-N）大幅超越所有已有方法。即使不使用 best-of-N（即单次采样），ExploreVLA 也能达到 90.4 PDMS，与 AutoVLA 等最佳多视角方法持平。所有子指标上，ExploreVLA 均位居前列，TTC 指标达到最优。
NAVSIM v2 结果（EPDMS 指标）：
表2：NAVSIM v2 基准对比（扩展闭环指标）。ExploreVLA 以 88.8 EPDMS 刷新 SOTA，比此前最佳 DriveVLA-W0 的 86.1 高出 2.7 分，在 9 项子指标中的 6 项上取得最优。
关键观察：
- 单目 vs 多传感融合：ExploreVLA 仅使用单目相机输入，却在 PDMS（93.7）上超越了 DriveSuprim、Centaur 等多传感器融合方案
- OOD 泛化：在 NAVSIM v2 的扩展指标（DDC 驾驶方向合规、TLC 交通灯合规等）上，ExploreVLA 的优势更加明显，说明探索驱动策略学到了更鲁棒的驾驶行为
- nuScenes 验证：在 nuScenes 开放环评测中，ExploreVLA 同样达到了 SOTA 的 L2 误差和碰撞率，证明方法的通用性
消融实验
消融 1：密集视觉监督（Stage 1）
| 配置 | PDMS |
|---|---|
| 仅轨迹预测（基线） | 最低 |
| + RGB 生成 | +5.1 |
| + 深度生成 | +5.0 |
| + RGB + 深度（完整） | 88.5 |
RGB 和深度互补，联合提供最丰富的监督。
消融 2：奖励组件（Stage 2）
| 奖励配置 | PDMS |
|---|---|
| Stage 1 基线（无 RL） | 85.6 |
| 纯 PDMS 奖励 | 85.6（无提升） |
| PDMS + 探索奖励（无门控） | 89.1 |
| PDMS + 探索奖励 + 安全门控（完整） | 90.36 |
纯 PDMS 奖励无提升——行为复制不是 RL 的优势。加探索奖励后跃升至 90.36，无门控时略低，证明安全筛选对不安全的 OOD 轨迹至关重要。
消融 3：安全阈值 $\delta$
| $\delta$ | PDMS |
|---|---|
| 0.3 | 88.7 |
| 0.6 | 90.36 |
| 0.9 | 89.8 |
最优阈值 0.6。过低（0.3）使不安全轨迹被奖励，过高（0.9）过滤掉有价值 OOD 探索。
nuScenes + HUGSIM 验证
nuScenes 上仅用 Stage 1（无 RL），ST-P3 协议下达到 0.44m 平均 L2 和 0.10% 碰撞率，与 OpenDriveVLA 持平。HUGSIM 零样本闭环评估中，KITTI-360 域取得最佳 HD-Score，nuScenes 和 PandaSet 域均排名第二——说明密集世界建模学到的表征能迁移到反应式闭环场景。Waymo 域的差距指向未来方向：结合大规模闭环 RL。
关键超参数汇总
| 超参数 | Stage 1 | Stage 2 |
|---|---|---|
| 骨干 | Show-o (Phi-1.5) | + LoRA rank 32 |
| 图像尺寸 | $256 \times 448$ | 同左 |
| 学习率 | $3 \times 10^{-5}$ | $3 \times 10^{-6}$ |
| 优化器 | AdamW | AdamW |
| 训练轮数 | 预训练 10 + SFT 15 | 5 epoch |
| GPU | 4 $\times$ H200 | 4 $\times$ H200 |
| 每 GPU batch size | 8 | 1 |
| GRPO G | — | 8 |
| KL $\beta$ / clip $\epsilon$ | — | 0.01 / 0.1 |
| $\delta$ / $\lambda$ | — | 0.9 / 0.5 |
世界模型生成可视化
在附录中，ExploreVLA 展示了密集世界模型的定性生成结果。模型不仅能准确预测未来帧的 RGB 外观（道路标线、车辆位置），还能生成与其几何一致的稠密深度图——说明模型学到了场景的 3D 结构和动态演化规律，而不仅仅是"记住"训练数据。
📝 总结与启示
| 维度 | 评价 |
|---|---|
| 创新性 | 高——将世界模型的图像不确定性作为探索奖励，这个视角新颖且优雅 |
| 有效性 | 强——93.7 PDMS / 88.8 EPDMS 是有说服力的 SOTA |
| 简洁度 | 极高——一个统一框架同时解决监督稀疏和探索缺失，没有多余设计 |
| 实用性 | 较好——单目相机输入，训练流程清晰，但需要两阶段训练和多轮采样 |
与其他 GRPO 驾驶方法对比
| 方法 | 世界模型 | 探索奖励 | GRPO |
|---|---|---|---|
| AlphaDrive | 无 | 无 | 有 |
| Gen-Drive | 扩散世界模型 | 无 | 有 |
| ExploreVLA | RGB + 深度生成 | 图像不确定性 | 有 |
ExploreVLA 将世界模型提升为核心——它不仅是规划质量的来源，更是探索方向的指南针。
个人的几点思考
- 探索奖励的优雅设计：用世界模型自身不确定性做探索奖励，有"自我校准"之美——模型知道自己不知道什么。这比需要额外 discriminator 的 curiosity-driven 方法更干净。
- 密集监督的价值被低估了：许多 VLA 工作只关注"如何生成更好轨迹"，忽略"如何让模型学到更好场景表征"。ExploreVLA 证明预测未来像素可显著提升规划质量，暗示了表征学习与行为学习协同训练的巨大潜力。
- 安全门控的变体：将 PDMS 同时用作规划目标和安全门控，让模型自己对探索做质量把关。一个有趣变体：能否用世界模型自己的生成质量来门控？这样可实现纯内蕴探索。
- 单目 vs 多视角：单目超越多传感融合的 SOTA 引发反思——是 NAVSIM 高效利用了单目，还是密集世界模型已足以捕捉驾驶所需的 3D 几何？
- 闭环 RL 的未来：作者在 HUGSIM 上坦诚指出 Waymo 域差距源于开放环 RL 后训练。将不确定性引导的探索与大规模闭环 RL 结合，是自然的下一个方向。
关键超参数汇总
| 超参数 | Stage 1 | Stage 2 |
|---|---|---|
| 骨干模型 | Show-o (Phi-1.5 + MAGVIT-v2) | 同上 + LoRA rank 32 |
| 图像尺寸 | $256 \times 448$ | 同上 |
| 输入帧 | 当前帧 + 历史帧（0.5s 前） | 同上 |
| 预测帧 | 未来 0.5s RGB + 深度 | 同上 |
| 学习率 | $3 \times 10^{-5}$ | $3 \times 10^{-6}$ |
| 优化器 | AdamW | AdamW |
| 训练轮数 | 预训练 10 epoch + SFT 15 epoch | 5 epoch |
| GPU | 4 $\times$ H200 | 4 $\times$ H200 |
| 每 GPU batch size | 8 | 1 |
| GRPO group size | — | $G=8$ |
| KL 系数 $\beta$ | — | 0.01 |
| Clip 范围 $\epsilon$ | — | 0.1 |
| 安全阈值 $\delta$ | — | 0.9 |
| 探索权重 $\lambda$ | — | 0.5 |
📚 参考文献
- Dauner et al., NAVSIM: Data-Driven Non-Reactive Autonomous Vehicle Simulation and Benchmarking, ECCV 2024
- Shao et al., DeepSeekMath: Pushing the Limits of Mathematical Reasoning with GRPO, 2024
- Xie et al., Show-o: One Single Model to See and Do, 2024
- Yu et al., Language Model Beats Diffusion — Tokenizer is Key to Visual Generation, ICLR 2024
- Hu et al., LoRA: Low-Rank Adaptation of Large Language Models, ICLR 2022
- Yin et al., Metric3D v2: A Versatile Monocular Geometric Foundation Model, TPAMI 2024
- Guo et al., Improving Reinforcement Learning for Autonomous Driving via World Model, 2025
- Zhou et al., AutoVLA: Vision-Language-Action Model with Chain-of-Thought Reasoning, 2025
- Li et al., OmniNWM: Omnidirectional Navigation World Model, 2025
- Cao et al., Pseudo-Label Enhanced Closed-Loop Evaluation for Autonomous Driving, 2025
- Zhou et al., HUGSIM: A Realistic Closed-Loop Simulator for Autonomous Driving, 2025