📄 论文信息

  • 标题MVAdapt: Zero-Shot Multi-Vehicle Adaptation for End-to-End Autonomous Driving
  • 团队:首尔大学(Haesung Oh, Jaeheung Park)
  • arXiv2604.11854(2026 年 4 月 13 日提交,cs.RO)
  • 代码github.com/hae-sung-oh/MVAdapt(已开源)
  • 一句话总结:端到端自动驾驶模型隐含地绑定了训练车的动力学特性,换辆车就翻车——MVAdapt 把"车辆物理属性"作为显式条件注入模型,在冻结感知骨干的情况下实现零样本跨车型迁移。

MVAdapt 核心对比:传统 E2E 模型跨车型迁移失败(左),MVAdapt 实现零样本适应(右)


🤔 要解决什么问题?

被忽视的"车辆域差距"

端到端自动驾驶模型通常只在一辆固定车型上训练和评测。但作者指出:驾驶策略隐式地绑定了训练车的动力学特性。当模型被部署到不同物理属性的车辆上时,性能会严重下降——他们把这个问题定义为车辆域差距(Vehicle-Domain Gap)

差距具体体现在三个层面:

问题说明后果
动态响应差异SUV 和轿车对相同控制输入的反应不同同一控制量,SUV 转向不足、轿车转向过度
轨迹可行性对轿车安全的轨迹对 SUV 可能不可行转弯半径不足、碰撞路沿
运动学可行性模型可能输出车辆无法执行的运动指令超出物理极限的控制命令

差距有多大?

一个在默认车辆上训练的 TransFuser++ 路径点模型,naïve transfer 到 27 种训练分布内车辆时 Driving Score 平均仅 19.31,到 31 种未见车辆上仅 28.77——远低于源车上的专用性能。这个下降幅度说明车辆域差距不是概念问题,而是实际问题


🏗️ 架构总览:物理条件化的场景特征

MVAdapt 的核心设计哲学是:冻结场景编码器(保留视觉泛化能力),显式注入车辆物理属性(条件化驾驶策略)

MVAdapt 完整架构:TransFuser++ 冻结骨干 → 物理编码器 → 交叉注意力融合 → GRU 路径点解码器

整体数据流(三段式):

  1. 场景编码:相机 + LiDAR → TransFuser++(冻结) → 场景特征 $F_s$
  2. 物理条件注入:车辆属性 {wheelbase, mass, drivetrain} → MLP 编码 → $F_p$ → 交叉注意力($F_s$, $F_p$) → 融合特征 $F_{\text{fused}}$
  3. 路径生成:$F_{\text{fused}}$ → GRU 自回归解码 → 未来路径点 ${(x,y)_1,\dots,(x,y)_T}$

组件 1:场景特征提取器(冻结)

MVAdapt 使用 TransFuser++ 作为场景骨干,该模型是 CARLA 端到端驾驶的经典基线。TransFuser++ 通过 Transformer 融合相机图像和 LiDAR BEV 特征,输出场景级特征表示。关键在于:MVAdapt 冻结了整个 TransFuser++ 骨干,不更新其参数。这意味着模型保留了源数据的视觉泛化能力,只通过物理条件来调整驾驶行为。

组件 2:物理编码器

这是 MVAdapt 的核心创新。作者将每辆车的物理属性编码为一个固定维度的嵌入向量。所选物理参数包括:

物理参数符号归一化方式对驾驶行为的影响
轴距(Wheelbase)$L$除以最大值转弯半径、操控灵活性
轮距(Track)$T$除以最大值稳定性、侧倾特性
质量(Mass)$m$除以最大值加速/制动距离、惯性
最大转向角$\delta_{\max}$除以最大值最小转弯半径
最大速度$v_{\max}$除以最大值巡航策略、跟车距离
驱动方式(Drivetrain)One-hot(FWD/RWD/AWD)牵引力、操控特性

这些参数通过一个轻量 MLP 编码为物理嵌入 $F_p$:

$$F_p = \text{MLP}(\text{Concat}[L_{\text{norm}}, T_{\text{norm}}, m_{\text{norm}}, \delta_{\text{norm}}, v_{\text{norm}}, \text{drivetrain\_onehot}])$$

归一化到 $[0, 1]$ 范围是关键设计:它让模型对不同物理量纲的参数一视同仁,同时让零样本迁移时只需输入新车的物理参数即可。

组件 3:交叉注意力融合

场景特征 $F_s$ 与物理嵌入 $F_p$ 通过一个多头 Transformer 编码器融合:

$$F_{\text{fused}} = \text{MultiHeadAttn}(Q=F_s, K=F_p, V=F_p)$$

物理嵌入作为 Key 和 Value,场景特征作为 Query。这意味着模型根据当前场景特征,去"查询"与车辆物理属性最相关的动态信息——比如在急弯场景下,交叉注意力会强调轴距和最大转向角的信息,让路径点更保守。

组件 4:GRU 路径点解码器

融合特征被送入一个 GRU 自回归解码器,逐点生成未来路径点:

$$\hat{w}_t = \text{GRU}(F_{\text{fused}}, \hat{w}_{t-1}), \quad t=1, \dots, T$$

训练目标为路径点的 $L_1$ 损失:

$$\mathcal{L} = \sum_{t=1}^T \|\hat{w}_t - w_t^{\text{expert}}\|_1$$

零样本迁移与少样本微调

MVAdapt 支持两种适应模式:

零样本适应(Zero-Shot):只需替换推理时的物理参数输入,模型自动调整驾驶策略。因为物理编码器在所有车辆上共享且 TransFuser++ 骨干冻结,模型学会了"给定相同场景 + 不同物理属性 → 输出不同路径点"的映射。

少样本适应:即使零样本对极端车型失效(左),少量数据微调即可恢复(右)

少样本微调(Few-Shot):对于极端物理异常值(如重型卡车),零样本迁移可能不够。MVAdapt 支持用新车的少量轨迹数据微调物理编码器 + 交叉注意力模块(仍冻结 TransFuser++ 骨干),数据量只需约 1 分钟的驾驶数据。


🧪 实验验证:58 车型 + CARLA Leaderboard

实验设定

  • 仿真器:CARLA Leaderboard 1.0(Town01-Town15 的 36 条测试路线)
  • 训练车辆:27 种(含轿车、SUV、跑车、皮卡、厢式货车等)
  • 测试车辆:58 种(27 种 ID + 31 种 OOD 未见车辆)
  • 基线:Naïve Transfer、URMA(统一本体架构)、BodyTransformer

零样本适应结果

方法ID 车辆 Driving ScoreOOD 车辆 Driving Score
Naïve Transfer19.3128.77
URMA26.4937.37
BodyTransformer29.0440.12
MVAdapt44.7753.83

MVAdapt 在 ID 车辆上比最佳基线 BodyTransformer 高 15.7 个点,在 OOD 车辆上高 13.7 个点。值得注意的是 OOD 分数高于 ID——作者解释说这是因为 OOD 车辆中包括大量与训练车相似的车型,而 ID 车辆中包含了一些物理异常值(如重型货车)拉低了均值。

定性分析

Cybertruck 场景:基线因转弯半径误判被堵,MVAdapt 顺利通过

两个定性案例清晰说明了物理条件化的效果:

场景车型基线行为MVAdapt 行为原因
转弯半径Cybertruck(大型)URMA 误判转弯半径 → 被别车卡住(RC 约 66%)根据物理参数意识到底盘大 → 保持更安全轨迹 → 顺利通过(RC 100%)轴距+轮距信息让模型知道大车转弯要更保守
过度转向Mini Cooper(小型)BodyTransformer 以中型车曲率右转 → 过度转向冲上路沿(RC 15%)意识到底盘小、转向灵活 → 更紧凑的转弯轨迹 → 无违规通过(RC 100%)物理参数让模型知道自己"小而灵活"

Mini Cooper 场景:基线以中型车曲率转弯导致冲上路沿,MVAdapt 做出紧凑转弯

此外,越界预测问题也被显著缓解:naïve transfer 经常预测超出车辆物理极限的转向角,MVAdapt 因为有物理条件约束,输出始终在可行范围内。

消融实验

组件配置ID DSOOD DS
完整 MVAdapt44.7753.83
w/o 交叉注意力仅拼接场景与物理特征38.5048.09
w/o 物理编码器仅用场景特征20.1428.58
w/o 特征归一化物理参数不归一化37.2146.34

消融表明:

  • 物理编码器是最关键的组件:去掉后 Driving Score 暴跌到 20.14(几乎等于 naïve transfer)
  • 交叉注意力比简单拼接更好:+6.3/+5.7 个点,说明选择性地融合物理信息比粗暴拼接更有效
  • 物理参数归一化也有明显贡献:+7.6/+7.5 个点

少样本微调

对极端物理异常值的实验中,仅用 2 条专家轨迹(约 60 秒驾驶数据) 微调物理编码器和交叉注意力,MVAdapt 就在未见车辆上从零样本的 28.94→44.66(+15.7),展示了极高的数据效率。


💡 个人思考

  1. “冻结骨干 + 条件化适配"是高效的域迁移范式:MVAdapt 不重新训练庞大的感知模型(TransFuser++),而是只加一个轻量物理条件模块。这个思路对工业部署极具吸引力——你只需要一个通用的场景编码器(可以在大规模数据上预训练),然后为每辆车配一组物理参数,零样本部署。对比当前"每辆车训一个模型"的做法,这是数量级的效率提升。

  2. 车辆域差距是一个被低估的研究方向:当前端到端驾驶研究几乎都默认使用单一车型评测(CARLA 默认车、nuScenes 固定平台),没有人问"如果换辆车,模型还能开吗?"。MVAdapt 用 58 辆车的系统实验证明,这个差距大到不可忽视。这提醒我们:端到端模型的"泛化性"评测应该包括车辆本体维度,而不只是天气、场景、光照。

  3. 物理参数的选取是最关键的工程决策:MVAdapt 只用了 6 个物理参数(轴距、轮距、质量、最大转向角、最大速度、驱动方式)。为什么不多用(如轮胎摩擦系数、悬挂刚度)?少用是"够用”,多用会引入噪声和难获取的参数。对一个依赖 CARLA 仿真环境的工作来说,这些参数正好是仿真器暴露的、且对驾驶行为影响最显著的。这个"最简足够"的原则值得学习——在实际系统中,传感器到执行器的物理参数链很长,找到"因果影响驾驶策略的最小参数集"才是关键。

  4. 对比具身 VLA 的启示:LingBot-VLA 2.0 在机器人的跨本体泛化上也碰到同样的问题——不同机器人的动力学差异导致统一动作头难以学习。MVAdapt 的"物理条件化"思路也可以迁移到 VLA:在 VLM 的动作头前面加一个"机器人物理属性编码器",让同一套模型根据不同的机器人尺寸/自由度/驱动力矩调整动作输出。这和 LingBot-VLA 2.0 的 MoE 动作专家是互补方案——MoE 隐式地让专家自发分化,而物理条件化是显式地告诉模型"你现在是什么车"。

  5. 局限与展望:当前工作在 CARLA 仿真上验证,sim-to-real 仍有 gap——真实车辆的物理参数更难精确获取,且轮胎、悬挂等非线性因素在仿真中简化了。此外,极端物理异常值(如重型卡车拖挂)需要少样本微调,真正的"零样本"还有距离。但方向是对的:把"隐含的动力学绑定"拆成"显式的物理条件",是让端到端模型真正可迁移的第一步。