🤖 论文概览
| 项目 | 内容 |
|---|---|
| 标题 | CoWorld-VLA: Thinking in a Multi-Expert World Model for Autonomous Driving |
| 作者 | Minqing Huang, Yujiao Xiang, Zihan Liang 等 (共10位) |
| 单位 | AFARI Research |
| 提交日期 | 2026年5月11日 (v1), 5月13日 (v2) |
| arXiv ID | 2605.10426 |
| 代码 | https://github.com/AFARI-Research/CoWorld-VLA |
🧭 研究动机：VLA推理的瓶颈
Vision-Language-Action (VLA) 模型已成为端到端自动驾驶的主流范式。然而现有推理机制存在根本性缺陷：
- 文本Chain-of-Thought (CoT)：将连续的时空结构离散化为文字，丢失了规划所需的精细空间信息
- 隐空间世界推理：虽然保留了连续表征，但其隐变量难以直接作为动作生成的条件信号
这一矛盾指向一个核心瓶颈：当前VLA系统缺乏一个将互补世界知识转化为规划导向的隐状态的机制。
CoWorld-VLA的答案是：在VLM隐空间中构建一个多专家Latent CoT，让不同的"专家"分别负责不同维度的世界知识。
🏗️ 方法架构：四专家Token + 分层扩散规划器
三阶段训练管线
| 阶段 | 内容 | 模型/数据 |
|---|---|---|
| Stage 1 | 视频扩散Transformer预训练 | Wan2.2-5B, NuPlan |
| Stage 2 | 多专家表示学习 | Qwen3-VL-2B, NAVSIM v1 |
| Stage 3 | 分层多专家融合规划器训练 | HMEF, 冻结VLM |
四种专家Token
CoWorld-VLA通过多源监督从VLM隐空间中提取四种互补的专家Token，每种Token对应自动驾驶中一个独立的知识维度。其核心思想是：与其让VLM隐空间隐式地包含所有信息，不如通过外部监督信号显式锚定四个语义轴，让后续规划器能够有针对性地利用不同维度的信息。
语义交互Token (H_sem)
使用JEPA（Joint Embedding Predictive Architecture）风格的表示学习，从未来观测中提取交互意图。具体地，一个冻结的V-JEPA编码器从未来帧中提取特征$f_{future} = VJEPA(I_{t+\Delta t})$，然后通过可学习的投影层$g_{sem}$将$f_{future}$映射到VLM隐空间：$\hat{H}{sem} = g{sem}(f_{future})$。训练目标是对齐投影后的特征与VLM在该时间步的隐状态$H_{VLM}$：
$$\mathcal{L}_{sem} = \| H_{VLM} - \hat{H}_{sem} \|^2$$JEPA损失的独特之处在于：它不是直接预测未来帧的像素值，而是预测未来帧的隐表征。这使得模型更关注场景中与交互相关的语义变化（如"前方车辆正在减速"），而非像素级别的细节（如"前车的颜色变化"）。
几何结构Token (H_geo)
使用VGGT编码器提取道路布局和空间约束的3D先验。VGGT是一个大规模预训练的3D视觉Transformer，可以从单张图像中估计深度图和相机参数。几何Token的定义为：
$$\hat{H}_{geo} = g_{geo}(VGGT(I_t))$$其中$g_{geo}$是投影MLP。对齐损失与语义Token类似：$\mathcal{L}{geo} = | H{VLM} - \hat{H}_{geo} |^2$。
几何Token为规划器提供了关键的道路拓扑信息——车道线在哪里、路口结构如何、可行驶区域边界在哪——这些都是语义Token难以精细表达但规划必须依赖的信息。
动态演化Token (H_dyn)
动态Token是四个专家中唯一使用生成式目标函数训练的。它作为预训练的Wan世界模型的条件信号，监督模型对未来场景的生成能力：
$$\mathcal{L}_{dyn} = \mathbb{E}_{t, \tau} [ \| v_\theta(z_\tau, \tau, H_{dyn}) - u \|^2 ]$$其中$v_\theta$是Wan模型的向量场预测器，$z_\tau$是带噪隐变量，$u$是目标向量场。这本质上是Flow Matching目标——让H_dyn学会编码场景中所有可移动实体（车辆、行人、自行车）的运动模式。
动态Token与语义Token的区别在于：语义Token关注"交互意图"（是什么），而动态Token关注"运动模式"（如何运动）。例如，在十字路口，语义Token可能编码"前方车辆准备左转"的意图，而动态Token则编码"以何种速度沿何种轨迹左转"的具体运动模式。
自车轨迹Token (H_traj)
通过轻量MLP头回归未来轨迹路点，使用MSE损失将世界推理与行为目标直接连接：
$$\mathcal{L}_{traj} = \sum_{k=1}^{T_{plan}} \| \hat{p}_k - p_k \|^2$$其中$p_k$是自车在第k步的真实位置，$\hat{p}k = MLP{traj}(H_{traj})$是预测位置。轨迹Token与其他三个Token的关键区别在于：它是唯一从自车行为视角出发的Token，直接连接了"世界理解"和"我的行动"。
总训练目标
四种损失的加权和：
$$\mathcal{L}_{total} = w_{dyn} \times \mathcal{L}_{dyn} + w_{sem} \times \mathcal{L}_{sem} + w_{geo} \times \mathcal{L}_{geo} + w_{traj} \times \mathcal{L}_{traj}$$其中$w_{dyn}=1.0, w_{sem}=0.1, w_{geo}=0.1, w_{traj}=1.0$。动态和轨迹Token的权重更高，反映了它们对规划性能的直接贡献更大。
分层多专家融合规划器 (HMEF)
HMEF的核心设计是一个条件扩散规划器，在归一化的动作空间中执行去噪规划。其推理过程可以形式化表述为：
给定场景上下文Token $C$（由VLM编码器从当前观测中提取），以及四种专家Token ${H_{sem}, H_{geo}, H_{dyn}, H_{traj}}$，HMEF的目标是学习自车未来轨迹的条件分布：
$$p(A_0 | C, \{H_e\}) = \int p(A_{0:T} | C, \{H_e\}) dA_{1:T}$$其中$A_0$是最终规划的动作轨迹，$A_{1:T}$是扩散过程的中间去噪状态。
具体地，各专家Token通过专家特定的双向Transformer投影到规划时域，得到每步专家特征$F_{e,t}$。去噪过程中，一个两流去噪器$D_\theta$以干净的场景Token $C$和含噪的专家条件动作Token $R$为输入，分别为每位专家预测干净轨迹分量：
$$\hat{A}_{0}^{(e)} = D_\theta^{(e)}(R_t, t, C, H_e), \quad e \in \{sem, geo, dyn, traj\}$$推理时学习全局标量融合权重$\alpha = softmax(w)$来组合各专家预测：
$$\hat{A}_0 = \sum_{e} \alpha_e \cdot \hat{A}_{0}^{(e)}$$这种先分别预测再融合的设计与先融合再预测的区别在于：每位专家先在各自的"知识维度"上独立做出最优的轨迹预测，再由融合权重综合权衡。这使得不同维度的知识在最终轨迹中都有独立的表达渠道，不会因为早期特征融合而互相稀释。
自动驾驶世界模型推理公式
CoWorld-VLA的世界模型推理过程建立在条件扩散框架之上。从数学角度看，整个推理链条可以概括为以下三步：
步骤1——专家状态估计：给定观测$I_t$，VLM编码器提取场景上下文$C$，同时各专家编码器提取各自的专家Token：
$$C = VLM_{enc}(I_t)$$$$H_e = Expert_e(I_t, C), \quad e \in \{sem, geo, dyn, traj\}$$步骤2——条件轨迹生成（扩散去噪）：以$C$和${H_e}$为条件，从高斯噪声$A_T \sim \mathcal{N}(0, I)$开始，执行反向去噪过程：
$$A_{t-1} = \frac{1}{\sqrt{\alpha_t}} \left( A_t - \frac{1-\alpha_t}{\sqrt{1-\bar{\alpha}_t}} \epsilon_\theta(A_t, t, C, \{H_e\}) \right) + \sigma_t z$$其中$\epsilon_\theta$是HMEF规划器预测的噪声，$z \sim \mathcal{N}(0, I)$是随机项。20步去噪后得到干净动作轨迹$A_0$。
步骤3——轨迹执行与滚动：将$A_0$的前$K$步轨迹发送给车辆控制器执行，下一时刻用新观测重复步骤1-3。这种滚动时域控制机制与Diffusion Policy中的Receding Horizon Control一脉相承。
📊 实验结果
NAVSIM v1闭环规划
| 方法 | PDMS ↑ | NC ↑ | EP ↑ |
|---|---|---|---|
| CoWorld-VLA | 89.8 | 99.2 | 83.6 |
| SGDrive | 86.6 | 98.7 | 81.2 |
| Uni-World VLA | 85.3 | 98.2 | 79.8 |
| ResWorld | 82.1 | 97.5 | 76.4 |
| DriveLaW | 80.0 | 97.0 | 74.1 |
PDMS为综合指标，CoWorld-VLA以89.8领先所有对比方法，仅用单帧前视图输入即超越使用多帧或LiDAR的方法。
消融实验：专家Token的互补性
| 配置 | PDMS |
|---|---|
| 仅轨迹Token | 83.7 |
| + 几何结构Token | 85.1 |
| + 语义交互Token | 87.7 |
| + 动态演化Token | 88.7 |
| + HMEF规划器 | 89.8 |
每个Token类型都对最终性能有独特贡献，验证了多专家信息的互补效果。
未来场景生成
CoWorld-VLA还在未来场景生成上取得了最优FVD（32.7），证明多专家Token不仅有利于规划，也能提升对周围交通参与者未来行为的预测质量。这与"世界模型辅助规划"的核心设计理念一致——更好的世界理解带来更好的规划。
与DriveVLM/DriveVLA等方法对比
CoWorld-VLA属于VLA（Vision-Language-Action）范式在自动驾驶中的最新进展，与以下代表性工作形成直接对比：
| 维度 | DriveVLM (2024) | DriveVLA (2025) | Uni-World VLA (2026) | CoWorld-VLA (2026) |
|---|---|---|---|---|
| 核心思路 | 视觉语言思维链 CoT | 语言条件化的动作生成 | 世界模型辅助VLA训练 | 多专家世界模型推理 |
| 推理机制 | 文本CoT → 轨迹 | 语言特征 → 轨迹 | 隐空间世界模型 → 轨迹 | 4种专家Token + HMEF |
| 世界模型角色 | 无 | 训练时数据增强 | 训练时正则化 | 推理时显式条件化 |
| 专家Token | 无 | 无 | 单一动作专家 | 语义+几何+动态+轨迹 |
| 输入模态 | 多视图图像 | 多视图图像+地图 | 单帧前视图 | 单帧前视图 |
| NAVSIM v1 PDMS | — | — | 85.3 | 89.8 |
| 推理效率 | 高（文本+MLP） | 中（特征+MLP） | 中（扩散规划器） | 中（20步视频+10步扩散） |
| 可解释性 | 高（文本CoT） | 中（隐空间） | 低（隐空间） | 高（多专家维度） |
从上表可以清晰看到VLA在自动驾驶中的演进脉络：DriveVLM开创了"用语言做规划推理"的思路，但其文本CoT丢失了精细的空间信息；DriveVLA引入语言条件化，但世界模型仅用于训练阶段；Uni-World VLA将世界模型作为训练正则化器，但仍然没有在推理时利用世界知识。CoWorld-VLA的关键突破在于：让世界模型在推理时以多专家Token的形式直接参与轨迹条件化。
NAVSIM v1详细实验结果
CoWorld-VLA在NAVSIM v1 benchmark上进行了全面的对比评估，除了综合指标PDMS外，还报告了各维度指标：
| 方法 | PDMS ↑ | NC ↑ | EP ↑ | RC ↑ | TTC ↑ |
|---|---|---|---|---|---|
| CoWorld-VLA (Ours) | 89.8 | 99.2 | 83.6 | 98.5 | 91.2 |
| SGDrive | 86.6 | 98.7 | 81.2 | 97.8 | 89.1 |
| Uni-World VLA | 85.3 | 98.2 | 79.8 | 97.1 | 87.5 |
| ResWorld | 82.1 | 97.5 | 76.4 | 96.3 | 85.2 |
| DriveLaW | 80.0 | 97.0 | 74.1 | 95.8 | 83.7 |
| DriveCoT | 78.4 | 96.5 | 71.2 | 94.9 | 81.8 |
| VLM-Plan | 72.1 | 95.1 | 65.3 | 93.2 | 78.4 |
各指标含义：
- PDMS (Planning and Decision-making Score)：NAVSIM的综合评价指标，综合考虑驾驶安全性、舒适性和任务完成度
- NC (No Collision)：无碰撞率，最核心的安全指标
- EP (Ego Progress)：自车进度，衡量任务完成效率
- RC (Route Compliance)：路线合规率
- TTC (Time to Collision)：最小碰撞时间，衡量安全性裕度
值得注意的是，CoWorld-VLA在所有指标上均领先第二名的SGDrive，尤其在EP（83.6 vs 81.2）和TTC（91.2 vs 89.1）上优势最大。这验证了多专家Token在提升规划安全性和效率上的双向优势——动态Token帮助模型预见潜在碰撞风险，而轨迹Token直接优化了规划效率。
🧪 技术细节补充
推理效率：视频生成使用20步采样，轨迹规划使用10步去噪。权重配置为w_dyn=1.0, w_sem=0.1, w_geo=0.1, w_traj=1.0。
与已有工作的关系：CoWorld-VLA可以看作是对Uni-World VLA、ReCogDrive、DriveLaW等同类工作的系统化改进。不同于ReCogDrive仅使用单一动作专家，CoWorld-VLA引入了四个互补的专家视角；不同于Uni-World VLA将世界模型仅用于训练阶段的正则化，CoWorld-VLA让世界知识在推理时直接参与条件化。
局限性：当前方法存在显著的计算开销（三阶段训练），且仅支持单帧图像输入，尚未利用时序信息。多帧扩展可能是直接提升性能的下一步方向——引入历史帧可以更好地估计速度和加速度，对碰撞避免有直接帮助。
HMEF详细架构分析
HMEF（Hierarchical Multi-Expert Fusion）的去噪网络设计值得深入分析。它采用双流架构（Two-Stream Denoiser），区别于普通的单流扩散模型：
流1——场景上下文流：处理VLM编码的场景Token $C$，通过自注意力建立场景元素之间的关系，保持上下文信息的完整性。
流2——专家条件动作流：处理含噪动作Token $R$ 和专家特征 $F_{e,t}$ 的拼接序列，通过交叉注意力从场景上下文中读取信息，同时通过专家特定的注意力头分别关注不同专家的条件信号。
两流之间通过交叉注意力层交互，而非简单的拼接或相加。这种设计的优势在于：场景上下文流可以保持全局视野不被动作噪声干扰，而专家动作流可以在去噪过程中动态地查询场景信息。
去噪网络延续了现代扩散模型的UNet/Transformer混合设计，但创新性地引入了专家路由——每个注意力头被路由到对应的专家特征上，通过不同的线性投影门控来控制信息流动：
$$Attn_e(Q, K, V) = softmax\left(\frac{QW_Q^{(e)} \cdot (KW_K^{(e)})^T}{\sqrt{d_k}}\right) VW_V^{(e)}$$其中上标$(e)$表示专家特定的投影矩阵。最终四个专家的注意力输出通过加权和融合：
$$Attn_{total} = \sum_e \alpha_e \cdot Attn_e(Q, K_e, V_e)$$训练配方与数据使用
CoWorld-VLA的三阶段训练使用了不同的数据集和训练策略：
Stage 1（视频扩散Transformer预训练）：
- 使用Wan2.2-5B作为初始化，在NuPlan数据集上进行视频预测微调
- 输入：当前帧 + 动作序列，输出：未来N帧
- 训练目标：Flow Matching损失，预测未来帧的向量场
- 该阶段为动态演化Token提供生成先验，使其具备"想象未来"的能力
Stage 2（多专家表示学习）：
- 冻结Wan模型，训练Qwen3-VL-2B的专家投影层
- 使用NAVSIM v1的高质量标注数据（包含地图、物体轨迹、交互标签）
- 四种专家Token的投影层独立训练，不共享参数
- 关键设置：语义和几何Token使用小学习率（1e-4），动态和轨迹Token使用大学习率（1e-3）
Stage 3（HMEF规划器训练）：
- 冻结所有预训练参数（Wan + Qwen3-VL + 专家投影层）
- 只训练HMEF的去噪网络和融合权重
- 数据增强：随机裁剪、颜色抖动、动作噪声注入
- 使用L2损失 + 碰撞惩罚项作为规划器训练目标
与ResWorld的关键差异
ResWorld是同时期的工作，也使用残差世界模型进行自动驾驶规划。与CoWorld-VLA的关键差异在于：
| 维度 | ResWorld | CoWorld-VLA |
|---|---|---|
| 世界模型类型 | 单隐变量残差预测 | 多专家联合推理 |
| Token设计 | 单一任务Token | 4种正交专家Token |
| 条件信号 | 隐变量直接输入规划器 | 专家Token通过HMEF融合 |
| 可解释性 | 低（隐空间不可解释） | 高（每个Token有明确语义） |
| 未来预测 | 仅限规划相关 | 独立生成未来场景 |
| 融合机制 | 拼接+MLP | 专家路由注意力 |
ResWorld的设计更加简洁，但CoWorld-VLA的多专家机制在可解释性和性能上都占据了明显优势。
开放问题
- 专家Token的数量和种类是否最优？是否有更高效的方式自动发现互补的专家角色？
- HMEF的融合权重是学习得到的标量，但不同场景下各专家的重要性可能不同。在高速场景下，动态Token可能比语义Token更重要；在十字路口，语义Token和几何Token的权重应该更高。引入场景自适应的融合策略可能是有益的改进方向。
- 如何在不大幅增加计算量的前提下引入多帧时序信息，是实用化部署的瓶颈。当前单帧输入丢失了速度和加速度信息，对判断动态障碍物的未来状态不利。
💭 个人思考
CoWorld-VLA最让我印象深刻的是它将"世界模型"从辅助训练信号提升为推理时的显式条件信号。四种专家Token的设计非常巧妙——它们不是简单地从VLM中提取特征，而是通过多源外部监督（JEPA、VGGT、Wan、轨迹回归）将不同维度的物理世界知识"注入"到VLM隐空间。
这里有一个值得玩味的选择：为什么不直接端到端学习这些表征？作者选择用独立的外部模型提供监督信号，相当于给VLM的隐空间"锚定"了四个明确的语义轴。这在自动驾驶这种安全关键场景中尤其重要——可解释性更强，且每个维度都可以独立验证。
多专家范式的深层价值：CoWorld-VLA的贡献不仅在技术上，更在于它提出了一种新的"推理分工"哲学。在自动驾驶这种高度复杂的场景中，没有任何单一表征能同时捕捉语义、几何、动态和意图的全部信息。多专家Token的互补性反映了驾驶问题的本质——它需要同时处理"我在哪"（几何）、“周围在发生什么”（动态）、“他们要做什么”（语义）和"我该怎么做"（轨迹）四个层次的问题。这种结构化的推理方式比端到端黑箱规划更接近人类驾驶员的认知过程。
关于计算效率的思考：三阶段训练的计算开销确实令人担忧——5B的Wan视频模型 + 2B的Qwen3-VL，再加上HMEF，在实际部署到实车上的成本和延迟都是巨大挑战。但从另一个角度看，这也是"预训练-微调"范式在自动驾驶中的自然延伸。随着VLM推理效率的快速提升（如Qwen3-VL在量化后可以在车载Orin上以30FPS运行），这种多阶段训练虽然代价高昂，但最终部署时只需要保留Stage 3的HMEF和前向推理路径，Wan和V-JEPA等辅助模型在推理时可以省略。这就引出一个很有趣的架构问题：能否将Stage 2的多专家表示学习直接蒸馏到Stage 3的规划器中，消除对辅助模型的推理时依赖？
NAVSIM作为评估平台的意义：NAVSIM v1的PDMS指标综合考虑了规划的安全性、效率和舒适性，比传统的L2误差或碰撞率更能反映真实驾驶性能。CoWorld-VLA取得89.8 PDMS是当前最强结果，但距离"人类水平"还有多远？目前没有公开的人类驾驶者在NAVSIM上的PDMS基线，但从各子指标来看（特别是EP仅83.6%），CoWorld-VLA在任务完成效率上还有显著提升空间。
从单帧到多帧的扩展也是关键下一步——毕竟驾驶本质上是一个时序决策问题。当前版本使用单帧前视图输入，这限制了它对速度、加速度等时间导数信息的感知。一个可能的解决方案是将历史帧的隐状态作为额外的专家Token引入，形成时间维度上的第五个专家。
总体而言，CoWorld-VLA为VLA推理提供了一个有价值的范式：用多专家Token替代单一日志或隐变量，让"思考"变得结构化、可解释、可条件化。从技术演进的角度看，它代表了VLA领域从"能不能做"（RT-2阶段）到"怎么做更好"（专家分工阶段）的重要转变。后续工作如果在效率和时序建模上有所突破，有望成为端到端自动驾驶的重要基础框架。