📌 一句话概括
UniDriveVLA 以 MoT 架构将理解、感知、规划解耦为三个专家，通过 Masked Joint Attention 协调跨专家信息流，从根源上解决 VLA 的空间感知与语义推理在共享参数下的相互干扰，在 nuScenes 和 Bench2Drive 上达到 SOTA。
📄 论文信息
- 论文标题：UniDriveVLA: Unifying Understanding, Perception, and Action Planning for Autonomous Driving
- arXiv：2604.02190（2026 年 4 月）
- 作者团队：Yongkang Li, Lijun Zhou, Sixu Yan, Bencheng Liao, Tianyi Yan 等 — 小米汽车 × 华中科技大学 × 澳门大学
- 项目页：https://xiaomi-research.github.io/unidrivevla
- 代码：https://github.com/xiaomi-research/unidrivevla
- 关键词：Mixture-of-Transformers, VLA, autonomous driving, sparse perception, expert decoupling
🤔 要解决什么问题？
VLA 模型面临核心矛盾——空间感知与语义推理的冲突：
- 直接使用 2D VLM：保留原生语义推理能力，但缺乏 3D 空间感知。VLM 预训练于互联网图像-文本数据，天然不具备显式空间感知能力。
- 引入 3D 空间表征：通过 BEV 编码器、3D Q-Former 或直接注入空间 token 来增强空间感知，但与语义推理共享参数空间时产生表征干扰（Representation Interference），削弱了 VLM 的原生推理能力。
论文通过 图 2 的实证分析揭示了这一冲突的本质：在共享权重解码器中，LLM token 与感知 token 的余弦相似度随层数加深逐渐趋近于 1，表明特征发生了表征坍缩（Feature Collapse）——空间特征与语义特征融合成几乎无法区分的表示。而在 MoT 架构中，不同专家保持低相似度，维持了任务解耦。
为什么现有方法无法根治？
| 方法类型 | 代表工作 | 缓解手段 | 根本问题 |
|---|---|---|---|
| 2D VLA 微调 | EMMA, AutoVLA | 依赖 VLM 原生能力 | 空间感知不足，无法准确建模 3D 场景 |
| 对齐式 3D 增强 | OmniDrive, OpenDriveVLA | 将结构化的 2D/3D 特征与语言表征对齐 | 对齐数据规模远小于 VLM 预训练语料，无法彻底消除冲突 |
| 注入式 3D 增强 | OccVLA, SparseOccVLA, Percept | 直接将空间 token 注入共享解码器 | 空间与语义 token 在共享参数中相互干扰，推理能力下降 |
这些方法的共同局限在于：它们都在共享参数空间内同时优化空间感知与语义推理，无论以何种方式引入 3D 信息，都无法避免表征干扰的发生。
💡 核心贡献
- 提出 MoT 架构解耦 VLA：首次将 Mixture-of-Transformers 引入自动驾驶 VLA，以理解、感知、规划三个专家解耦优化，从架构层面消除感知-推理冲突。
- 稀疏感知范式：不引入稠密 3D 表征，而是直接从 2D VLM 多尺度视觉特征中构建稀疏空间先验，兼顾空间感知与语义推理。
- 三阶段渐进训练：先固语义 → 再联调感知+规划 → 最后冻结 VLM 精调专家，保证推理能力不退化。
- 全面的 SOTA 结果：nuScenes 开环规划与 Bench2Drive 闭环规划均达 SOTA，同时覆盖 3D 检测、在线地图、运动预测、驾驶 VQA 等多任务。
🧠 方法详解
1. 问题形式化
自动驾驶任务旨在从多视图相机观测
$$I_{\mathrm{cam}} \in \mathbb{R}^{K \times V \times H \times W \times 3}$$、历史轨迹
$$I_{\mathrm{hist}} \in \mathbb{R}^{T_{\mathrm{hist}} \times 2}$$和导航指令
$$L_{\mathrm{nav}}$$中预测安全未来轨迹
$$T_{\mathrm{traj}}$$：
$$ T_{\mathrm{traj}} = \Phi\bigl(I_{\mathrm{cam}},\, I_{\mathrm{hist}},\, L_{\mathrm{nav}}\bigr) $$传统 3D 增强 VLA 进一步引入空间表征
$$T_{\mathrm{sp}}$$：
$$ T_{\mathrm{traj}} = \Phi\bigl(I_{\mathrm{cam}},\, I_{\mathrm{hist}},\, L_{\mathrm{nav}},\, T_{\mathrm{sp}}\bigr) $$问题在于异构特征在共享参数中相互纠缠，导致与层深正相关的表征干扰。
2. UniDriveVLA 架构
核心设计是 Mixture-of-Transformers（MoT），包含三个专家：
| 专家 | Token 来源 | 职能 | 监督信号 |
|---|---|---|---|
| Understanding Expert | Vision-Language Backbone | 语义理解、场景描述、常识推理 | 自回归语言建模 $$\mathcal{L}_{\mathrm{ar}}$$ |
| Perception Expert | Sparse Perception Module | 3D 检测、在线地图、自车状态、运动预测、Occupancy | 结构化感知任务 $$\mathcal{L}_{\mathrm{per}}$$ |
| Action Expert | Action Encoder | 轨迹生成、运动规划 | Flow-Matching 轨迹生成 $$\mathcal{L}_{\mathrm{act}}$$ |
在每个 MoT 层中，三个 token 组首先经过专家特定的线性投影：
$$ \mathbf{Q}^{g}=T_{g}\mathbf{W}_{Q}^{g},\;\mathbf{K}^{g}=T_{g}\mathbf{W}_{K}^{g},\;\mathbf{V}^{g}=T_{g}\mathbf{W}_{V}^{g},\quad g\in\{\mathrm{und},\mathrm{per},\mathrm{act}\} $$3. Masked Joint Attention（MJA）
专家投影后，三组表征拼接并在全序列上计算注意力，通过掩码矩阵 $$\mathbf{M}$$ 控制可见模式：
$$ \mathbf{Q}=[\mathbf{Q}^{\mathrm{und}};\mathbf{Q}^{\mathrm{per}};\mathbf{Q}^{\mathrm{act}}],\quad \mathbf{K}=[\mathbf{K}^{\mathrm{und}};\mathbf{K}^{\mathrm{per}};\mathbf{K}^{\mathrm{act}}],\quad \mathbf{V}=[\mathbf{V}^{\mathrm{und}};\mathbf{V}^{\mathrm{per}};\mathbf{V}^{\mathrm{act}}] $$$$ \mathbf{Z}=\mathrm{Softmax}\!\left(\frac{\mathbf{Q}\mathbf{K}^{\top}}{\sqrt{d_{k}}}+\mathbf{M}\right)\mathbf{V} $$掩码设计原则：
- Understanding Token：采用 Causal Masking，不看后续的 Perception 和 Action token，保持 VLM 原生自回归推理能力
- Perception Token：看前面的 Understanding token 以获取语义上下文
- Action Token：看前面所有 Understanding 和 Perception token，聚合语义+空间信息做规划
输出再分割后经专家特定的层归一化和 FFN：
$$ \mathbf{H}^{g}=T_{g}+\mathrm{LN}_{\mathrm{attn}}^{g}\!\left(\mathbf{Z}^{g}\mathbf{W}_{O}^{g}\right),\quad \mathbf{O}^{g}=\mathbf{H}^{g}+\mathrm{LN}_{\mathrm{ffn}}^{g}\!\left(\mathrm{FFN}^{g}(\mathbf{H}^{g})\right) $$联合优化目标：
$$ \mathcal{L}_{\mathrm{total}} = \lambda_{1}\mathcal{L}_{\mathrm{ar}} + \lambda_{2}\mathcal{L}_{\mathrm{per}} + \lambda_{3}\mathcal{L}_{\mathrm{act}} $$4. 稀疏空间感知
区别于注入稠密 BEV 表征的方法，UniDriveVLA 从多尺度 2D 视觉特征中直接构建稀疏查询：
- 检测/地图/自车/运动/Occupancy 的任务特定稀疏查询由数据集级 K-Means 聚类初始化
- 经时序交互、任务内推理、任务间通信、可变形特征聚合、任务精化逐步更新
- 感知输出投影到 Perception Expert 的隐藏空间，通过 MJA 与理解和 action 分支交互，实现语义增强的稀疏感知
- 最终特征再投影回稀疏感知空间经后续解码器精化，输出可解释的感知结果
5. 三阶段渐进训练
| 阶段 | 冻结状态 | 学习率 | 数据 | 目标 |
|---|---|---|---|---|
| Stage 1 驾驶预训练 | 全参数微调 VLM | $$4 \times 10^{-5}$$（3 epoch） | 驾驶 VQA + 通用多模态数据（3:7） | 锚定语义推理能力 |
| Stage 2 联合优化 | LoRA 约束 LM + VLM 半学习率 | $$2 \times 10^{-4}$$（VLM 系数 0.5×, 30 epoch） | 驾驶数据 + 感知+规划监督 | 引入感知与规划能力 |
| Stage 3 专家精化 | 冻结 VLM | $$1 \times 10^{-4}$$（15 epoch） | 同上 + 运动预测 | 专精化 Perception & Action Expert |
Stage 2 使用 AdamW 优化器并启用 EMA。Stage 3 引入额外运动预测目标为 Action Expert 提供动态先验。
🏗️ 架构流程总览
推理阶段
| 步骤 | 模块 | 输入 | 输出 | 说明 |
|---|---|---|---|---|
| 1 | Vision Encoder (SigLIP-2) | 多视图图像 $$960 \times 544$$ | 多尺度视觉特征 | 对齐 VLM 的 $$32 \times$$ 下采样步长 |
| 2 | VL-Merger (MLP) | 视觉特征 + 文本指令 | Understanding Token $$T_{\mathrm{und}}$$ | 融合视觉与语义信息 |
| 3 | Sparse Perception Module | 多尺度视觉特征 | Perception Token $$T_{\mathrm{per}}$$ | 检测/地图/自车/运动/Occupancy |
| 4 | Action Encoder | 高斯噪声 + 目标速度序列 | Action Token $$T_{\mathrm{act}}$$ | Flow-Matching 插值构造 |
| 5 | MoT Layer × N | $$T_{\mathrm{und}}, T_{\mathrm{per}}, T_{\mathrm{act}}$$ | 更新的三组 token | 各专家先自投影 → MJA → 再投影 → FFN |
| 6 | LM Head / Perception Decoder / Action Decoder | 对应专家输出 | 语言回答 / 感知结果 / 轨迹 | 统一框架多任务输出 |
训练阶段
| 阶段 | 迭代 | 优化参数 | 监督信号 | 关键技术 |
|---|---|---|---|---|
| Stage 1 | 3 epoch | 完整 VLM（Qwen3-VL） | $$\mathcal{L}_{\mathrm{ar}}$$ | 驾驶数据:通用数据 = 3:7 |
| Stage 2 | 30 epoch | VLM（LoRA + 0.5× LR）+ 全部 Expert | $$\lambda_1\mathcal{L}_{\mathrm{ar}} + \lambda_2\mathcal{L}_{\mathrm{per}} + \lambda_3\mathcal{L}_{\mathrm{act}}$$ | AdamW, EMA |
| Stage 3 | 15 epoch | Perception Expert + Action Expert（VLM 冻结） | 同上 + 运动预测 | 专精训练，保持语义 |
🖼️ 图片解析
图 1：三种 VLA 范式的对比。 (a) Vanilla 2D VLA 直接使用 2D VLM，保留强语义推理但空间感知严重受限，面对需要精确 3D 定位的场景无力应对。(b) 3D-Enhanced VLA 引入 BEV/Occupancy 等空间表征提升感知，但共享参数导致语义推理能力下降，两种能力无法同时最优。(c) UniDriveVLA 通过 MoT 解耦，理解专家专注语义、感知专家专注空间、规划专家整合决策，三者通过 Masked Joint Attention 协调，实现空间感知与语义推理的兼得。
图 2：表征干扰与性能对比。 左图展示了 LLM token 与感知 token 在各层的余弦相似度。共享权重解码器中，相似度随层深从约 0.2 单调上升至接近 1.0——意味着空间和语义特征逐渐坍缩为几乎一致的表示，丧失了各自的特异性。而 MoT 架构中相似度始终保持在 0.2 以下，表明专家解耦有效维持了表征的多样性。右图量化了这一差异的下游影响：UniDriveVLA 在感知、推理和规划指标上一致超越共享权重基线，尤其在碰撞率和 L2 误差上改善显著。
图 3：UniDriveVLA 的整体架构。 多视图图像经 SigLIP-2 视觉编码器和 MLP Merger 产生 Understanding Token，同时进入稀疏感知模块提取 Perception Token。Action Encoder 从噪声和速度序列构建 Action Token。三组 token 在堆叠的 MoT 层中通过专家特定投影和 Masked Joint Attention 交互，最终分别由 LM Head、Perception Decoder 和 Action Decoder 输出语言理解、感知结果和规划轨迹。整个流程在一个统一框架内完成，无需多阶段流水线。
图 4：Masked Joint Attention 的掩码模式。 注意力矩阵以 Understanding（U）、Perception（P）、Action（A）的顺序排列。Understanding token 采用因果掩码（灰色对角线以下区域被掩蔽），不关注后续的任何 Perception 或 Action token——这保证了 VLM 的原生自回归语义推理不受空间和动作 token 的干扰。Perception token 关注所有 Understanding token 以获取语义上下文用于增强空间感知，但不关注 Action token。Action token 关注所有 Understanding 和 Perception token，全面聚合语义+空间信息以做出规划决策。
图 5：UniDriveVLA 的闭环驾驶能力与消融分析。 该图综合展示了 UniDriveVLA 在 Bench2Drive 各场景能力维度上的表现，以及在 nuScenes 开环规划中的组件贡献消融。Merging（38.75%）和 Overtaking（80.00%）表现尤其突出，体现了 MoT 解耦+稀疏感知在复杂交互场景中的优势。
🔬 实验与结果
Bench2Drive 闭环规划
| 方法 | Open-loop Avg. L2 $$\downarrow$$ | Driving Score $$\uparrow$$ | Success Rate (%) $$\uparrow$$ | Efficiency $$\uparrow$$ | Comfortness $$\uparrow$$ |
|---|---|---|---|---|---|
| UniAD (CVPR23) | 0.73 | 45.81 | 16.36 | 129.21 | 43.58 |
| SparseDrive (ICRA25) | 0.87 | 44.54 | 16.71 | 170.21 | 48.63 |
| DriveMOE (CVPR26) | 0.38 | 74.22 | 48.64 | 175.96 | 15.31 |
| Orion (ICCV25) | 0.68 | 77.74 | 54.62 | 151.48 | 17.38 |
| ReCogDrive (ICLR26) | — | 71.36 | 45.45 | 138.18 | 17.45 |
| UniDriveVLA | 0.72 | 78.37 | 51.82 | 198.86 | 11.78 |
UniDriveVLA 在**Driving Score（78.37）和Efficiency（198.86）**上达到所有非 PDM-Lite 方法中的最优，与使用特权数据训练的 AutoVLA/SimLingo 相比也极具竞争力。
多能力细粒度分析
| Ability | UniDriveVLA | Orion | DriveMOE | ReCogDrive |
|---|---|---|---|---|
| Merging | 38.75 | 25.00 | 34.67 | 29.73 |
| Overtaking | 80.00 | 71.11 | 40.00 | 20.00 |
| Emergency Brake | 50.00 | 78.33 | 65.45 | 69.09 |
| Give Way | 30.00 | 33.00 | 40.00 | 20.00 |
| Traffic Sign | 58.95 | 69.15 | 59.44 | 71.34 |
| Mean | 51.53 | 54.72 | 47.91 | 42.03 |
在 Merging 和 Overtaking 等复杂交互场景中，UniDriveVLA 大幅领先其他方法，表明 MoT 解耦+稀疏感知的设计尤其擅长处理高动态交互场景。
nuScenes 开环规划（无 Ego State）
| 方法 | L2 (m) Avg. $$\downarrow$$ | Collision (%) Avg. $$\downarrow$$ | LLM |
|---|---|---|---|
| UniAD (CVPR23) | 0.73 / 1.03 | 0.61 / 0.77 | — |
| SparseDrive (ICRA25) | 0.55 / 0.99 | 0.08 / 0.21 | — |
| OmniDrive | 0.84 / — | 0.94 / — | LLaVA-7B |
| FSDrive | 0.53 / 0.96 | 0.17 / 0.40 | Qwen2-VL-3B |
| UniDriveVLA-Base | 0.54 / 0.96 | 0.17 / 0.41 | Qwen3-VL-2B |
| UniDriveVLA-Large | 0.51 / 0.90 | 0.11 / 0.27 | Qwen3-VL-8B |
（指标格式：ST-P3 协议 / UniAD 协议）
UniDriveVLA-Large 在无自车状态的设定下取得了最佳的轨迹精度（L2 0.51/0.90）和碰撞率（0.11/0.27），显著优于同等规模的 VLA 方法。
nuScenes 感知结果
| 方法 | Det mAP $$\uparrow$$ | NDS $$\uparrow$$ | Map mAP $$\uparrow$$ |
|---|---|---|---|
| UniAD (CVPR23) | 0.380 | 0.359 | — |
| VAD (ICCV23) | 0.276 | 0.397 | 0.476 |
| SparseDrive (ICRA25) | 0.418 | 0.525 | 0.551 |
| UniDriveVLA-Large | 0.407 | 0.460 | 0.535 |
UniDriveVLA 作为统一 VLA 框架在感知上达到接近专用感知方法的水平，检测 mAP 0.407、NDS 0.460、地图 mAP 0.535，说明稀疏感知设计为下游规划提供了可靠的 3D 空间基础。
MoT 解耦消融
| 架构 | General VQA (%) $$\uparrow$$ | DriveBench (%) $$\uparrow$$ | Det NDS $$\uparrow$$ | Map mAP $$\uparrow$$ | L2 (m) $$\downarrow$$ | CR (%) $$\downarrow$$ |
|---|---|---|---|---|---|---|
| Shared-Weight Decoder | 31.1 | 50.8 | 0.437 | 0.516 | 0.641 | 0.175 |
| Mixture-of-Transformers | 45.5 | 54.9 | 0.439 | 0.516 | 0.533 | 0.140 |
MoT 相比共享权重解码器在通用 VQA 上提升 14.4 个百分点，L2 误差降低 16.9%，碰撞率降低 20%。这直接验证了专家解耦不仅维护了 VLM 的语义推理能力，也通过减少表征干扰提升了感知和规划质量。
组件消融
| Baseline | Ego | Det | Map | Occ | Motion | L2 $$\downarrow$$ | CR (%) $$\downarrow$$ |
|---|---|---|---|---|---|---|---|
| ✓ | 0.75 | 0.27 | |||||
| ✓ | ✓ | 0.61 | 0.21 | ||||
| ✓ | ✓ | ✓ | 0.58 | 0.10 | |||
| ✓ | ✓ | ✓ | ✓ | 0.58 | 0.14 | ||
| ✓ | ✓ | ✓ | ✓ | ✓ | 0.53 | 0.14 |
自车状态 + 检测最有效降低碰撞率（0.27→0.10），Occ 进一步优化 L2。
💡 个人思考
1. Perception-Reasoning Conflict 是 VLA 自动驾驶的核心瓶颈
这篇论文最有价值的贡献在于明确识别并命名了 “Perception-Reasoning Conflict”。此前，3D-Enhanced VLA 方法的论文常观察到"加入 BEV/Occupancy 后推理下降"的现象，但多归因于训练数据不足或架构效率问题。UniDriveVLA 通过图 2 的余弦相似度分析证明这是表征层面的系统性坍缩——在共享参数中强制混合异构特征必然导致干扰。这一发现为整个 VLA 领域提供了清晰的设计原则：空间感知与语义推理应当在优化路径上保持分离，仅在推理时通过受控机制交互。
2. 以 MoT 为代表的 “Decoupled Then Interact” 范式将成为主流
UniDriveVLA 的设计哲学与 pi0、DriveVLA-W0 等同期工作不谋而合：将多模态/多任务模型拆分为专家分治，再通过 Joint Attention 协调。这反映了 Transformer 架构演进的重要趋势——从 “One Architecture to Rule Them All” 走向 “Specialized Experts with Controlled Communication”。MoT 的核心优势在于它不需要为每个新能力重新设计架构，只需添加新专家和对应的掩码模式。未来自动驾驶 VLA 可能扩展到更多维度：感知更长时序、预测其他 agent 意图、整合高精地图先验等，MoT 提供了优雅的可扩展框架。
3. 稀疏感知的 “够用就好” 哲学值得深思
UniDriveVLA 选择稀疏感知而非稠密 BEV/Occupancy，是一个重要的设计决策。稠密表征虽然信息更丰富，但对 VLM 的语义推理冲击更大。稀疏感知通过查询范式直接提取关键空间先验（目标位置、车道结构、自车状态），在"足够支撑规划"的同时最大程度减少对语义路径的干扰。这提示我们：在统一模型中，感知表征的形态选择不是"越丰富越好"，而是"在满足下游需求的前提下尽可能轻量和解耦"。稠密与稀疏的 trade-off 需要一个量化度量的框架。
4. 三阶段训练策略的系统性价值
Stage 1（纯语义）→ Stage 2（联合学习）→ Stage 3（冻结 VLM 精化专家）的策略很有启发：它本质上是在防止"语义灾难性遗忘"和"感知学习不充分"之间寻找最优路径。Stage 2 使用 LoRA + 半学习率的双保险机制尤其精妙——既允许感知和规划目标影响 VLM 表征进行必要的适配，又限制更新的幅度和范围避免破坏预训练知识。这种渐进式能力注入的训练哲学可以推广到多阶段微调的各种场景：先在全部参数上稳定基础能力，再逐步引入新能力并逐步解冻相关参数。
5. 局限：从 Bench2Drive 指标看语义-能力 Trade-off
虽然 UniDriveVLA 在 Driving Score 和 Efficiency 上领先，但 Success Rate（51.82%）低于 Orion（54.62%），Comfortness（11.78）也较低。这意味着解耦设计在大幅提升驾驶激进性和效率的同时，可能在安全裕度和乘坐舒适性上做了取舍。此外，Emergency Brake（50.00%）和 Give Way（30.00%）等安全关键场景不如 Orion 和 DriveMOE，暗示稀疏感知可能在某些需要"感知全场景细节来判断是否刹车"的场合信息不足。通用 VQA 能力（Tab. 8 中 MMStar 43.3、MMMU 47.3）相比原生 Qwen3-VL（63.0/52.8）也明显下降——即使专家解耦缓解了冲突，大量驾驶领域微调仍会带来通用能力的损失。
6. 未来方向：从开环到闭环的泛化鸿沟
值得注意的一个细节是：UniDriveVLA 在 nuScenes 开环规划上取得了无 ego 状态下最优的 L2（0.51），但在 Bench2Drive 闭环中 Open-loop Avg. L2 为 0.72，并不突出。这说明开环 L2 与闭环驾驶质量之间的相关性非常有限——一个在开环中预测准确的模型可能在闭环自增强的误差累积下表现迥异。未来 VLA 模型可能需要直接在闭环仿真中优化，或引入因果推理来弥补开环训练与闭环部署之间的 gap。UniDriveVLA 的 MoT 架构为接入闭环强化学习提供了良好的接口（可以直接冷冻理解专家、用 RL 优化规划专家），期待后续工作沿这一方向推进。
📚 参考资料
- arXiv：2604.02190
- 项目页：https://xiaomi-research.github.io/unidrivevla
- 代码：https://github.com/xiaomi-research/unidrivevla
- Qwen3-VL：https://huggingface.co/Qwen/Qwen3-VL