📄 论文信息
- 标题：DriveVLA-W0: World Models Amplify Data Scaling Law in Autonomous Driving
- 团队：中科院自动化所（CASIA / NLPR）× 蔚来（Yinwang Intelligent Technology）
- 发表：arXiv:2510.12796（2025 年 10 月首发，12 月更新 v2）
- 代码：
github.com/BraveGroup/DriveVLA-W0 - 一句话总结：用一个"预测未来画面"的世界模型给 VLA 大模型补上稠密监督，让海量驾驶数据真正喂得进、学得动，单目前视相机就刷新了 NAVSIM 榜单。
🤔 要解决什么问题？
当前端到端自动驾驶有两条主流路线，各有软肋：
| 路线 | 代表工作 | 优点 | 软肋 |
|---|---|---|---|
| BEV 感知驱动 | UniAD、VAD、DiffusionDrive | 几何先验强、结构紧凑 | 难以复用非驾驶数据，规模天花板低 |
| VLA 大模型驱动 | AutoVLA、ReCogDrive、本文 | 模型大、潜在 Scaling 强 | 监督信号太稀疏 |
DriveVLA-W0 抓住的是 VLA 路线一个反直觉的痛点——“监督赤字”（Supervision Deficit）：你给了一个 7–8B 参数的大模型，却只用几维的未来轨迹点（waypoints）去监督它。这就好比你请了一位博士，却只让他抄写"左转、右转"。结果就是：
- 大模型的表征能力严重浪费，学不出对世界的深层理解；
- 单纯堆数据也救不了，因为动作监督本身是稀疏的，再多的数据也只是稀疏信号的重复；
- 实验中甚至出现"大 VLA 反而打不过小 BEV 模型"的尴尬。
核心问题：如何给 VLA 大模型配上一个稠密的、能逼它学会世界运行规律的监督信号？答案就是——世界模型。
换个比喻更好理解：传统动作监督像是只告诉模型"考试答案"，而世界模型监督是让模型"把整张卷子的解题过程都写出来"。前者只校验终点对不对，后者校验中间每一步对世界的理解对不对——显然后者更能逼出真正的理解力。
💡 核心创新：世界模型作为稠密自监督
让模型"预见未来"
DriveVLA-W0 的核心动作很朴素：除了预测动作，还要预测未来的图像。给定当前观测和动作，模型被要求画出"下一帧会是什么样子"。这个任务带来的是每一时刻、每个像素级的稠密监督，逼着模型去学环境的物理动力学——车往前开会看到什么、减速时景物如何变化、变道后周围车流如何重组。
关键判断：动作是稀疏的低维信号，图像是稠密的高维信号。用图像预测去"放大"动作监督的密度，是用世界规律反哺驾驶决策。
两种世界模型实现
VLA 模型按视觉表示分为两大流派，作者为各自量身定制了世界模型：
| 维度 | AR 世界模型（自回归） | Diffusion 世界模型（扩散） |
|---|---|---|
| 适配骨干 | Emu3-8B（离散视觉 token） | Qwen2.5-VL-7B（连续视觉特征） |
| 做法 | 把未来图像编码成离散 token，做 next-token 预测 | 在隐空间训练潜扩散，去噪生成未来帧 |
| 预测目标 | 当前帧的视觉 token 序列 | 下一帧图像 I_{t+1} 的潜表示 |
| 训练损失 | 交叉熵 L_WM-AR | MSE 噪声预测 L_WM-Diff |
| 总目标 | L = L_Action + α·L_WM-AR | L = L_Action + β·L_WM-Diff |
一个巧妙的细节：Diffusion 世界模型预测的是"下一帧"而非"当前帧"。因为条件里已经包含当前帧的全部特征，若只重建当前帧就退化成复制任务；只有预测未来，才能学到真正的预测性动力学。AR 模型生成图像时则用 MoVQGAN 解码器把 token 渲染回像素。
需要强调：推理时世界模型分支被旁路，只走动作通路以保证实时性；图像生成只在可视化、反事实分析时启用。所以世界模型更像一位"严师"——只在训练时逼着模型把世界学透，上车推理时并不拖慢决策。
两阶段训练范式
为了让"先学世界、再学动作"的思路落地，作者设计了两阶段训练：
| 阶段 | 输入序列 | 监督目标 | 作用 |
|---|---|---|---|
| 阶段 1：世界预训练 | 长序列 6VA（6 组视觉-动作） | 动作损失 + 世界模型损失 | 用稠密信号喂出丰富的世界表征 |
| 阶段 2：动作专精 | 短序列 2VA（2 组） | 仅动作专家的动作损失 | 接入轻量动作专家，专攻实时出轨迹 |
阶段 1 不冻结骨干，世界模型与动作任务联合优化，让表征同时服务于"看懂世界"和"开车"两个目标；阶段 2 把重计算的世界分支关掉，只留动作专家精调。这套"先厚喂、再瘦身"的流程，正是它兼顾学习深度与推理速度的关键。
⚙️ 架构详解：VLM 骨干 + 世界模型 + 动作专家
整体数据流
输入是深度交错的多模态历史序列，沿时间滑窗拼接：
语言指令 L + 前视图像 V + 历史动作 A ➜ 交错成 [L,V,A,…,L,V,A] 序列 ➜ VLM 骨干自回归编码 ➜ 拆出语言/视觉/动作特征 ➜ 世界模型学未来 + 动作专家出轨迹
历史动作用 FAST tokenizer 把连续轨迹点编码成离散 token，提供强时序先验。这种"视觉-动作交错序列"让模型理解"我做了这个动作，世界变成了这样"的因果链。
Action Expert：轻量 MoE 动作专家
大 VLM 骨干虽擅长学表征，但太重、不适合实时控制。作者引入一个仅 500M 的动作专家（Action Expert），与完整 VLA 骨干组成 MoE 架构，通过 Joint Attention 深度耦合：
- 两个专家各自计算 Q、K、V；
- 沿 token 维度拼接后做一次联合注意力；
- 输出再拆分路由回各自专家。
这种对称融合让小专家能高效"借用"大骨干的丰富表征，而不必把大模型搬到控制回路里。
三种动作解码器
作者把这套 MoE 当成"试验台"，系统对比了三种动作生成方式：
| 解码器 | 表示 | 原理 | 训练损失 |
|---|---|---|---|
| Query-based | 连续 | 可学习 query 经联合注意力后用 MLP 直接回归轨迹 | L1 |
| Autoregressive | 离散 | 自回归预测离散动作 token（同基线） | 交叉熵 |
| Flow Matching | 连续 | 学一个向量场，从噪声沿直线路径"流"到真实动作 | MSE |
三种解码器都能生成连续驾驶轨迹（连续点最终都经 FAST detokenizer 还原为 waypoints），但适用场景竟会随数据规模"反转"——这是后文最精彩的发现之一。
🧠 从"语言 CoT"到"预测式 CoT"
提到把推理引入驾驶，本系列第一篇 DriveVLM 走的是显式语言思维链：描述 ➜ 分析 ➜ 提取 ➜ 推理，用自然语言把"想到了什么"讲出来。而 DriveVLA-W0 走的是另一条路——预测式 CoT：
看见当前 ➜ （隐式）预见未来 ➜ 生成动作
它不输出文字推理过程，而是通过"预测下一帧画面"这件事，把对场景的因果理解压进网络权重。论文用一组反事实实验验证了这种理解是"接地"的：当显式给定一个"减速"轨迹作为条件，世界模型生成的画面里，周围景物流动明显变慢——说明模型真的理解"减速会让世界这样变化"，而非死记动作。
消融实验给出有力佐证：用"视觉+动作"交错序列（6VA）预训练，比只用"视觉"序列（6V）的 PDMS 从 84.1 提升到 85.6。把视觉预测与自车动作绑定，模型才被迫去学因果动力学，这正是一种结构化的、非语言的"推理"。所以 CoT 在驾驶里的落地不必拘泥于文字——预测未来本身，就是一种推理。
🧪 实验与结果
NAVSIM 基准：单相机登顶
在学术基准 NAVSIM（源自 OpenScene，聚焦安全关键场景）上，DriveVLA-W0 仅用单目前视相机，就超越了依赖多相机 + 激光雷达的强对手：
| 方法（NAVSIM v1） | 传感器 | PDMS ↑ |
|---|---|---|
| UniAD | 6 相机 | 83.4 |
| DiffusionDrive | 3 相机 + LiDAR | 88.1 |
| WoTE | 3 相机 + LiDAR | 88.3 |
| AutoVLA | 3 相机 | 89.1 / 92.1（+锚点） |
| DriveVLA-W0（AR 专家 + best-of-N） | 1 相机 | 93.0 |
| 人类参考 | — | 94.8 |
NAVSIM v2（扩展指标 EPDMS）上同样以 86.1 超过 DiffusionDrive 的 84.5。稠密的世界模型监督让单目打穿了多传感器，这强烈印证了"学会理解世界"比"堆传感器"更值钱。
放大数据缩放律
真正的重头戏在一个 7000 万帧、100 万+片段的内部数据集上。作者对比了 70k / 700k / 70M 三档数据规模：
| 模型（70M 帧） | ADE ↓ 提升 | 碰撞率 ↓ 提升 |
|---|---|---|
| VLA-VQ + 世界模型 | +28.8% | +19.7% |
| VLA-ViT + 世界模型 | +3.7% | +15.9% |
而只用动作监督的基线很快就饱和了。这意味着一个重要结论：当监督本身稀疏时，堆数据的收益是有上限的——这正是"监督赤字"在缩放律上的直接体现。世界模型的价值，就是把这条原本已经压扁的曲线重新"撬"起来。
更反直觉的是泛化性：基线模型在 NuPlan 上预训练后迁到 NAVSIM 反而变差（过拟合了源域的动作分布，把 NuPlan 的驾驶习惯当成了"真理"，反而难以适应 NAVSIM 的长尾操作）；而加了世界模型的 VLA-W0 预训练反而是加分项——因为它学到的是可迁移的视觉表征，而非死记某套动作。换句话说，世界模型让模型学的是"世界长什么样、会怎么变"，这套知识在不同城市、不同数据集之间是通用的。
动作解码器的"反转"
把同一个预训练骨干接三种解码器，在小数据（NAVSIM，10 万帧）和大数据（70M 帧）上对比，结果令人意外：
- 小数据：连续型（query-based、flow matching）更胜——轨迹分布简单，精度优势凸显，离散 AR 受量化误差拖累；
- 大数据：自回归 AR 反超登顶——海量数据下，要建模的轨迹分布极其复杂，建模能力比单点精度更重要，AR 的强表达力和 teacher-forced 训练效率让它最好扩展。
这个"反转"对行业选型极有启发：解码器的优劣不是绝对的，而是数据规模的函数。
效率
MoE 动作专家把延迟从 117.8ms 砍到 74.3ms（降到原来 63.1%），同时 PDMS 还从 85.6 涨到 88.4。又快又好，为车端实时部署扫清障碍。
🔗 与 DriveVLM 的传承与进化
本系列第一篇 DriveVLM 用显式语言 CoT 把 VLM 的推理能力引入驾驶，证明了"理解驱动"比"感知驱动"更有潜力。DriveVLA-W0 沿着这条主线下一步，但走了不同的技术分支：
| 维度 | DriveVLM（SJTU×NIO） | DriveVLA-W0（CASIA×蔚来） |
|---|---|---|
| 推理形式 | 显式语言 CoT（描述/分析/提取/推理） | 隐式预测式（世界模型预测未来） |
| 核心目标 | 把 VLM 推理用于场景理解 | 给 VLA 补稠密监督、放大缩放律 |
| 架构 | VLM 慢系统 + 轻量快系统（双系统） | VLM 骨干 + 世界模型 + MoE 动作专家 |
| 动作输出 | 高层决策意图指导快系统出轨迹 | 端到端直接出连续轨迹 |
| 关键贡献 | 可解释性、长尾推理 | 数据缩放律、单目 SOTA |
| 监督密度 | 稀疏（决策/动作） | 稠密（未来图像） |
两者一个重"说清楚"（可解释的语言推理），一个重"学得深"（稠密的世界建模）。理想形态或许是二者融合：用世界模型把表征喂饱，再叠加语言 CoT 做可解释决策——这正是自动驾驶走向"理解驱动"的两条互补路径。
📝 个人思考
这篇论文最让我受震动的是它点破了一个反直觉的事实：大模型 + 大数据并不天然等于好效果，瓶颈往往在监督信号的密度上。一个 8B 的模型只用几维轨迹去训，就像用吸管喝大海——水很多，但喝不进来。世界模型预测未来图像，本质上是把"驾驶"这个低维任务，重新装订成"建模世界动力学"这个高维任务，让大模型的容量终于有用武之地。这背后的思想值得所有做"大模型落地垂直领域"的人借鉴：迁移的不是模型，而是要为它匹配密度的监督。
第二个启发是关于缩放律的"反转"。多数人相信"模型越大越好、解码器越复杂越好"，但 DriveVLA-W0 揭示了两个反转：预训练可能有害（基线）、简单解码器在大数据下反超复杂解码器。这提醒我们，很多架构优劣的结论是小数据下的幻觉，真正的工程选型必须在自己业务的真实数据规模上重新验证。Flow Matching 在小数据夺冠、AR 在大数据称王——这种"规模依赖的优胜"现象，很可能在机器人、具身智能等领域同样存在。
最后，“单目前视相机超越多相机 + 激光雷达"这个结果，对整个自动驾驶行业是一记警钟。它说明当模型真正"理解"了世界，传感器堆料的边际收益在下降。我倾向于认为，未来的竞争重心会从"谁的传感器更全"转向"谁能让模型学得更深”——而世界模型/生成式预训练正是那条把数据价值最大化的路径。DriveVLA-W0 给出了一个相当硬核的起点：稠密监督，才是打开大模型驾驶智能的钥匙。
🔗 延伸阅读
| 工作 | 团队 | 与 DriveVLA-W0 的关系 |
|---|---|---|
| DriveVLM | SJTU × NIO | 本系列首篇，语言 CoT 路线，理解驱动的"另一条腿" |
| LAW | — | 先驱性地用隐式世界模型做表征学习，本文用"预测未来图像"做更直接的稠密监督 |
| GAIA-1 / DrivingGPT | Waymo 等 | 世界模型作为"数据合成器"路线，本文则用作"自监督目标" |
| AutoVLA | — | 轨迹 token 化的自回归 VLA，本文 NAVSIM 主要对比对象 |
| π0 | Physical Intelligence | 通用机器人 VLA，Flow Matching 动作头；本文系统对比了 Flow Matching 解码器 |
| Emu3 / Qwen2.5-VL | 华为 / 阿里 | 本文的两种 VLM 骨干（离散 token vs 连续特征） |
| UniAD | Shanghai AI Lab | 本系列第三篇，BEV 端到端范式，本文的对立面与超越对象 |
📖 这是论文精读系列的第 4 篇。世界模型会不会成为自动驾驶的"下一道分水岭"？欢迎留言讨论。