引言:100 篇 VLA 论文,0 篇属于重卡

如果你关注自动驾驶领域的最新进展,一定注意到 2024-2026 年间 VLA(Vision-Language-Action)模型的爆发式增长。从 AutoVLA、DriveVLM、EMMA、OpenDriveVLA 到 SAMoE-VLA、LaST-VLA、UniDriveVLA,光是 arXiv 上能找到的自动驾驶 VLA 论文就已超过 100 篇

但这里有一个令人震惊的事实:

这 100+ 篇论文,没有一篇专门针对重卡(heavy-duty truck)场景。 所有模型都在乘用车数据集(nuScenes、Waymo Open Dataset、Bench2Drive、CARLA)上训练和评测。

与此同时,重卡自动驾驶的产业化进程正在加速:Aurora 于 2025 年在德州启动了无安全员的 L4 商业运营,Kodiak AI 已将 VLM 部署在自家卡车感知栈上,Torc Robotics 计划 2027 年量产 L4 卡车。重卡自动驾驶的市场需求是真实且急迫的——美国卡车运输业每年承担着超过 7000 亿美元的货物运输,卡车司机缺口超过 10 万人。然而学术界对重卡 VLA 的研究仍然是一片空白。这不仅是学术上的缺憾,更是产业落地的关键瓶颈。

本文的目标是:

  1. 定义这个空白:为什么现有 VLA 方法不能直接迁移到重卡?
  2. 分析根本原因:哪些维度造成了迁移障碍?
  3. 提出架构方案:Truck-VLA 应该怎么设计?
  4. 给出路线图:从哪里开始填补这个空白?

一、VLA 简史:从 VA 到 VLA 的演进

在深入重卡之前,先回顾一下自动驾驶 VLA 的整体图景。

1.1 三个时代

自动驾驶的"感知-决策-控制"管线经历了三个阶段:

VA 时代(2016-2023):视觉-动作模型,直接从传感器映射到控制输出。代表工作包括 ALVINN、ChauffeurNet、TransFuser、UniAD、VAD。核心局限是黑盒推理、长尾泛化差、无法理解语言指令。这一时期的模型本质上是"感知→轨迹"的纯回归映射,缺乏显式推理能力。

VLM 时代(2023-2024):视觉-语言模型被引入驾驶场景,用于场景理解、问答和解释。代表工作包括 DriveLM、DriveVLM、DriveGPT4。但 VLM 只输出文本,不产生物理动作。它们的作用更接近"副驾驶"——能够描述场景、回答问题,但不能直接控制车辆。

VLA 时代(2024-至今):将 VLM 的推理能力与动作执行统一在同一框架内。WorldBench 团队的综述(arXiv: 2512.16760)给出了最清晰的分类:

VLA 演进的三个阶段

1.2 两大范式

综述提出的分类法将所有 VLA 模型分为两类:

端到端 VLA(End-to-End VLA):一个模型完成感知+推理+规划,VLM 直接输出动作(action tokens)。代表工作:AutoVLA(GRPO 微调)、EMMA(Waymo)、SimLingo。这类模型的优势在于 Pipeline 高度统一、梯度可以端到端传播、推理速度快。但缺点是动作质量严重依赖 VLM 骨干本身的表达能力,且缺少专门的安全校验机制。

双系统 VLA(Dual-System VLA):分离"慢思考"(VLM 负责推理)和"快执行"(规划器负责安全动作)。代表工作:DriveVLM、InsightDrive、Diff-VLA。VLM 输出的是一个"推理结果"(文字描述的场景理解+决策建议),而实际轨迹由下游的规划器生成。这种架构天然具备更好的安全性和可解释性,但系统复杂度和推理延迟更高。

下表总结了当前主流 VLA 模型及其使用的数据集和动作空间:

模型范式数据集动作空间重卡适配?
AutoVLA端到端nuScenes, Bench2Drive2D(转向+速度)
EMMA端到端Waymo Open Dataset2D(路径点)
DriveVLM双系统nuScenes, DRAMA2D(路径点)
InsightDrive双系统nuScenes, BDD2D(转向+速度)
OpenDriveVLA端到端Bench2Drive, nuScenes2D(路径点)
SamoE-VLA端到端Bench2Drive2D(路径点)
Pi0 (通用VLA)端到端OXE (机器人)6-50D (机器人动作)
Diff-VLA双系统nuScenes, Bench2Drive2D(路径点)
SimLingo端到端Bench2Drive2D(路径点+速度)

从这个表格可以清晰地看到两个问题:

  1. 所有模型都在乘用车数据集上训练,没有一个使用重卡数据
  2. 所有模型的输出空间都是 2-4 维,远低于重卡所需的 12 维

1.3 但它们全是乘用车的

现在回到核心问题:这 100+ 篇论文使用的数据集、仿真环境、动作空间、安全假设——全部基于乘用车设定。下一节我们分析为什么这种设定不能延伸到重卡。


二、为什么重卡 VLA 不是"加个卡车数据集"就能解决的

VLA for Autonomous Driving:乘用车 vs 重卡研究现状对比

2.1 动力学差异:运动学模型对重卡完全失效

乘用车 VLA 使用的运动学模型(kinematic model)通常只考虑位置 $(x,y)$、朝向角 $\theta$、速度 $v$ 和曲率 $\kappa$——即状态空间 $\mathbf{s} = [x, y, \theta, v]$,控制空间 $\mathbf{u} = [a, \delta]$(加速度+前轮转角)。这对轿车是合理的,因为轿车在常规驾驶中不会出现显著的动力学极限行为。

但重卡的物理特性完全不同,定量对比如下:

物理量乘用车重卡(满载)差异倍数
总质量1.5-2.0 t40-60 t20-30x
质心高度0.5-0.6 m1.5-1.8 m3x
轴数2轴4轮3轴6轮+挂车轴
80→0 km/h 制动距离30-40 m60-80 m2x
侧翻临界横向加速度~0.8g0.25-0.4g0.3-0.5x
车长4-5 m16-22 m (含挂车)4x

这些差异意味着重卡不能用运动学模型近似。一个关键的量化判据是横向载荷转移率(Lateral Load Transfer Ratio, LTR),定义为左右轮垂直载荷之差除以总垂直载荷:

$$ \text{LTR} = \frac{F_{zL} - F_{zR}}{F_{zL} + F_{zR}} $$

LTR 的取值范围是 [-1, 1]——当 |LTR| 接近 1 时,内侧车轮离开地面,侧翻即将发生。简化条件下,LTR 与横向加速度 $a_y$、质心高度 $h_{CG}$ 和轮距 $w$ 的关系为:

$$ \text{LTR} \approx \frac{2 \cdot h_{CG} \cdot a_y}{g \cdot w} $$

代入重卡的典型值($h_{CG} = 1.6\text{m}, w = 2.0\text{m}$)得到:$a_y = 0.3g$ 时 LTR 已达 0.48,$a_y = 0.4g$ 时 LTR 为 0.64——已经非常接近侧翻阈值。而乘用车($h_{CG}=0.5\text{m}, w=1.6\text{m}$)在同样的 $a_y = 0.4g$ 下 LTR 仅为 0.25。

这就是为什么 nuTruck 论文(arXiv: 2607.13704)用一个简单实验就证明了问题的严重性:一条在 nuPlan 上被完美跟踪的无碰撞轨迹,换到重卡动力学模型上跟踪,会因为转向半径过小+车速过高而导致 LTR 爆表——运动学上安全的轨迹,动力学会翻车

这意味着:VLA 模型的动作头如果只输出运动学轨迹(路径点/曲率/速度),对于重卡来说是不够的。 必须引入高保真动力学模型(至少 5-DOF 三轴模型),并让 VLA 学会预测和规避 LTR 超限的行为。

2.2 动作空间维度爆炸

乘用车 VLA 的动作空间通常是 2-4 维(油门/刹车/转向)。这对乘用车足够了,因为传统乘用车本质上是一个欠驱动系统——驾驶员只有方向盘、油门和刹车三个操控输入。

但对于分布式电驱重卡(Distributed Electric-drive Truck, DET),情况完全不同。DET 的每个轮子都有独立的电机和转向执行器,动作空间变为:

  • 6 个轮子各自的驱动力矩:$\tau_1, \tau_2, \dots, \tau_6$
  • 6 个轮子各自的转向角:$\delta_1, \delta_2, \dots, \delta_6$
  • 总计 12 维连续动作空间

重卡侧翻动力学与 VLA 的接口设计

为什么需要 12 维?因为 DET 的全轮独立转向能实现乘用车做不到的机动模式:

  1. FRO 模式(前轮转向):与传统卡车相同,仅前两轮转向
  2. ALL 模式(全轮转向):所有轮子参与转向,大幅减小转弯半径
  3. 斜行模式:所有轮子朝同一角度偏转,实现横向平移
  4. 原地转向:左右轮反转,实现极小半径掉头

这些模式对重卡在港口、矿区、仓库等狭窄场景下的机动性至关重要。简单地将 12 维动作压成 2 维会丢失 DET 的核心能力。

此外,12 维动作空间也给 VLA 的动作头设计带来了根本性挑战:

  • 语言头无法输出 12 维连续数值
  • 回归头需要处理高维输出的多模态分布(同一场景可能存在多个合理动作配置)
  • **生成头(扩散/Flow Matching)**目前只在 2-4 维动作空间中验证过,扩展到 12 维的收敛性和采样质量是开放问题

2.3 感知视角完全不同

乘用车 VLA 的感知配置通常是 6 路环视相机(nuScenes 标准配置),安装在轿车顶部或挡风玻璃处。重卡的感知配置完全不同,差异不仅仅是传感器数量的不同:

视角差异

  • 卡车驾驶室顶部比轿车高 1-2 米,导致相机透视矩阵中的消失点位置、地平线高度、像素-米尺度映射关系全部改变
  • 现有 VLA 视觉骨干(ViT、ResNet)在 ImageNet/nuScenes 上预训练,从未见过卡车高度的画面
  • 一个在乘用车感知上训练好的 BEV 转换网络,直接用在卡车上会产生系统性尺度误差

远距需求

  • 市区乘用车场景的感知任务范围通常在 30-100m(nuScenes 标注范围 50m)
  • 高速公路重卡需要 300-1000m 的感知距离(TruckDrive 数据集要求前向 1000m、两侧 100m)
  • 这对特征提取网络的有效感受野和下采样率提出了完全不同的要求
  • 现有 VLA 使用的 ViT-B/L 骨干在长距特征编码上没有专门优化

传感器配置差异

  • 乘用车:6 路环视相机(典型 30°-60° FOV),1 个顶部 LiDAR
  • 重卡:前向长焦相机(检测远距目标)+ 广角侧视相机 + 后视相机 + 多个 4D 雷达 + 侧向 LiDAR
  • 挂车后方通常需要额外传感器(挂车本身遮挡了牵引车后方的视野)

2.4 挂车遮挡:VLA 从未处理过的问题

重卡的铰接结构(牵引车+挂车)带来了乘用车领域完全不存在的感知挑战:挂车自身造成的动态遮挡

这个问题有多严重?想象一辆带 17.5m 标准挂车的重卡向右转弯。挂车会沿更小的半径"抄近路",其左侧车体会挡住牵引车右侧后视镜中原本可以看到的区域。此时牵引车的右后方出现了一个完全被挂车遮挡的"盲区三角"。如果有一辆自行车恰好在这个区域,VLA 模型需要预测到它的存在——但视觉上完全看不到。

具体而言,挂车遮挡带来了几个问题:

  1. 动态遮挡模式:遮挡区域随铰接角 $\alpha$(牵引车与挂车纵轴的夹角)持续变化
  2. 自身姿态感知:VLA 需要知道挂车当前在哪里——这要求模型有"自身体态感知"能力
  3. 语义混淆:挂车侧壁上的文字/图案可能被 VLA 误判为环境物体
  4. 多挂车情况:未来可能使用 B-double(双挂车)车型,铰接自由度从 1 变为 2,问题复杂度进一步升级

现有 VLA 模型处理的是"刚性车身"场景,编码器-解码器架构中完全没有处理可动部件的模块。即使是最先进的 BEVFormer 或 PETR,其空间 attention 也假设自车是一个刚体。要让 VLA 理解铰接结构,需要在 attention 中引入铰接运动学先验——这是一个尚未被探索的研究方向。

2.5 制动与安全距离的维度差异

重卡和乘用车的制动特性差异不仅在于距离长短,还在于制动安全的维度完全不同:

  1. 制动热衰退:重卡频繁制动时刹车鼓/盘温度可达 400°C 以上,摩擦系数显著下降。乘用车 VLA 完全不需要考虑这个因素。
  2. 挂车 sway 效应:紧急制动时挂车可能左右摇摆(trailer sway),严重时导致折叠(jackknife)。VLA 需要学习避免触发这种不稳定的制动策略。
  3. 载荷对制动的影响:满载卡车在湿滑路面上的制动距离是干燥路面的 1.8-2.5 倍——而乘用车这个比例只有 1.2-1.5 倍。VLA 的策略必须根据当前载荷动态调整安全跟车距离。
  4. 辅助制动:重卡普遍使用发动机制动(Jake Brake)和液力缓速器(Retarder)辅助减速。VLA 需要学会协调主制动与辅助制动的时序。

这些维度乘用车 VLA 完全不需要考虑,但对重卡安全至关重要。


三、载荷传感器:重卡 VLA 最被忽视的输入

如果说前面几个挑战是"架构问题",那载荷传感器就是数据问题——也是最容易被忽视的问题。

重卡 VLA 缺失的关键传感器维度

3.1 重卡特有的物理状态

乘用车 VLA 的输入包括:图像、LiDAR 点云、GPS/IMU、车身速度/转向角。这些信息对控制来说基本够用——乘用车的质量变化(1-5 个乘客,约 5%-20% 总重)对动力学的影响是二阶的。

但重卡 VLA 还需要以下信息才能做出安全决策,因为质量变化可达 3 倍(空载 15t → 满载 40t),而且载荷位置的改变会根本性地改变车辆的动力学行为:

关键物理量及其影响

物理量传感器方式变化范围对安全的影响
各轴轴荷空气悬挂压力传感器0-16t/轴决定制动分配、侧翻阈值
总重轴荷求和15-40t制动距离 2x 差异
质心高度悬挂高度传感器 + 估算1.0-1.8mLTR 与 h_CG 成正比
动态载荷转移IMU + 轴荷时序±30% 轴荷过弯/制动稳定性
挂车铰接角铰接角度传感器0°-120°防止折叠、盲区预测
路面附着系数轮胎力估算μ=0.15-0.85制动/转向极限

这些物理量不能"从图像中推断"——压力传感器和应变计的精度远超视觉估计。试图用纯视觉推断载荷会面临三方面困难:

  1. 视觉上看不到装载物的密度(同样体积的钢材 vs 泡沫塑料,质量差 20 倍)
  2. 质心高度取决于装载物的垂直分布,视觉只能看到表面
  3. 动态载荷是力的时序变化,视觉只能看到位置变化

3.2 为什么现有 VLA 无法处理载荷变化

现有 VLA 模型在训练时,所有轨迹都来自固定动力学参数的乘用车。模型学到的是"在这种情况下打这个方向盘角度→车这样转"的映射——这个映射的动力学参数 $\mathcal{M}$ 是固定的。

对重卡来说,部分观测下的动力学方程是:

$$ \mathbf{s}_{t+1} = f(\mathbf{s}_t, \mathbf{u}_t; \mathbf{\Theta}) $$

其中 $\mathbf{\Theta} = [M, I_{zz}, h_{CG}, C_{\alpha}, \dots]$ 是动力学参数,$M$ 是质量,$I_{zz}$ 是横摆转动惯量,$h_{CG}$ 是质心高度,$C_{\alpha}$ 是轮胎侧偏刚度。对于乘用车 VLA,$\mathbf{\Theta}$ 被视为常数。但重卡的 $\mathbf{\Theta}$ 是时变的——完全相同的 $\mathbf{s}_t$ 和 $\mathbf{u}_t$,空载和满载产生的 $\mathbf{s}_{t+1}$ 完全不同。

这意味着:如果没有载荷信息作为 VLA 的条件输入,模型无法区分"安全的快速过弯"和"危险的快速过弯"。 同一个转向角 + 速度的输入,在空载时可能 LTR=0.3(安全),在满载时 LTR=0.7(即将侧翻)。没有载荷信息,模型无法从状态中辨别这两种情况。

3.3 安全临界值的动态变化

重卡的安全边界不是固定的,而是随载荷动态变化的函数:

  • 空载:横向加速度限值约 0.4g(LTR 阈值 0.6)
  • 半载:横向加速度限值约 0.3g(LTR 阈值 0.6)
  • 满载:横向加速度限值约 0.25g(LTR 阈值 0.6)

注意 LTR 阈值是固定的(0.6 作为安全边界),但由于 $h_{CG}$ 随载荷变化,对应的横向加速度限值从 0.25g 变化到 0.4g——相差 60%。

此外,安全边界还受以下因素影响:

  1. 载荷分布:前重后轻 vs 后重前轻导致不同的转向特性(不足转向 vs 过度转向)
  2. 路面附着系数:干燥(μ=0.85)、湿滑(μ=0.5)、冰雪(μ=0.15)下侧翻风险完全不同
  3. 悬挂状态:气囊悬挂失效时侧倾刚度下降 40-50%
  4. 货物类型:液体货物在转弯时产生货物激荡(sloshing),增加侧翻风险

VLA 模型如果要输出"安全的"轨迹,必须感知当前的载荷状态,并将其作为决策的约束条件。这不仅是传感器问题,更是模型架构问题——载荷信息需要被编码进 VLA 的多模态输入空间。


四、数据集、基准与仿真平台:三项缺失

重卡 VLA 的数据集、基准与仿真平台现状

4.1 现有重卡数据集不支持 VLA

目前公开发布的重卡数据集只有三个,而且全部只服务于感知任务:

数据集类型规模传感器含语言标注?含动力学标签?
MAN TruckScenes (NeurIPS 2024)3D检测/跟踪747场景4cam+6LiDAR+6radar
TruckDrive (CVPR 2026)远距感知475K帧/165K标注7LiDAR+10radar+11-15cam
TruckV2X (arXiv 2025)协同感知多车+路侧车端+路侧传感器

对比乘用车 VLA 的丰富数据生态:

数据集用途规模与重卡的差距
DriveLM (ECCV 2024)图级 QA 标注nuScenes 全量重卡无等价物
CoVLA (WACV 2025)语言-动作对34K 标注帧重卡无等价物
Impromptu VLA (NeurIPS 2025)多任务 QA80K 视频片段重卡无等价物
nuReasoning (arXiv 2026)推理链未知规模重卡无等价物
NuInstruct (CVPR 2025)指令跟随992 场景重卡无等价物
DriveLM-Chat对话式 QA多轮对话重卡无等价物

重卡 VLA 连最基本的数据集都没有。 你甚至找不到一个带自然语言标注的重卡驾驶视频片段。

更严重的是,即使有人愿意做语言标注,现有重卡数据集还缺少 VLA 训练所需的另两个关键要素:

  1. 动力学标签缺失:轴荷、LTR、侧倾角、铰接角等物理量在采集时没有记录——因为在当时的数据集设计目标中,这些信息不重要。但这些正是 VLA 训练所需的。
  2. 动作标注缺失:CoVLA 等乘用车数据集包含了"语言描述 → 实际驾驶动作"的对齐标注。重卡数据集完全没有人做过这样的标注。
  3. 多模态指令缺失:“在下个出口驶出高速”、“前方有事故小心驾驶”、“减速过弯”——这类自然语言指令与驾驶动作的配对数据,在重卡领域完全不存在。

4.2 仿真平台缺口

现有的自动驾驶仿真平台存在巨大的重卡缺口:

平台重卡动力学语言接口VLA 评测
CARLA❌ 仅有乘用车
MetaDrive
nuPlan/NAVSIM
Bench2Drive✅ 部分(指令)
TruckSim✅ 高保真(商用)
nuTruck 仿真器✅(5-DOF 开源)
需要: 重卡 VLA 仿真

nuTruck 论文已经做了一个重卡动力学仿真器(基于 nuPlan 场景 + 5-DOF 三轴动力学模型),但存在以下局限:

  1. 没有语言接口:无法输入导航指令或场景问答
  2. 没有 VLA 评测协议:只支持运动学指标(L2 误差、碰撞率),不支持语言遵从度等 VLA 特有指标
  3. 仿真保真度有限:5-DOF 模型未包含轮胎松弛动力学、悬挂非线性、货物激荡等关键效应
  4. 场景覆盖不足:基于 nuPlan 场景(主要覆盖市区/郊区),缺少高速公路、港口、矿区等重卡典型场景
  5. 只有单车仿真:没有卡车与轿车混行场景,没有多挂车场景

我们需要的平台是:重卡动力学(10+ DOF) + 语言交互接口 + 闭环 VLA 评测协议 + 重卡典型场景库。

4.3 基准评测缺失

即便有人训练了一个重卡 VLA 模型,也没有地方可以评测它。乘用车 VLA 有多个公认基准:

基准类型指标VLA 适配重卡版本?
nuScenes 开环开环L2 位移误差、碰撞率❌ 无语言评测
NAVSIM闭环PDMS (NC×DAC×(5EP+5TTC+2C)/12)❌ 无语言评测
Bench2Drive闭环Driving Score, Success Rate✅ 含指令
NeuroNCAP闭环安全加权综合评分❌ 无语言评测
nuTruck闭环(重卡)L2 误差,侧翻率❌ 无语言评测✅ 但无VLA

重卡 VLA 需要全新的基准协议 PDMS-Truck,至少包括以下指标维度:

  1. 开环规划指标
    • 传统指标:L2 位移误差、航向误差
    • 安全指标:平均 LTR、最大 LTR、LTR 超限率(>0.6 的时间占比)
    • 动力学指标:侧倾角峰值、载荷转移幅度
  2. 闭环规划指标
    • 整体安全评分(加权 LTR + 碰撞 + 偏离)
    • 动力学安全加权 PDMS(将侧翻风险纳入评分)
  3. 语言遵从度
    • 指令执行成功率
    • 推理链质量(与专家推理链的语义相似度)
  4. 长尾场景专项
    • 极端载荷变化(空载↔满载切换)
    • 湿滑/冰雪路面
    • 紧急避障 + 侧翻约束
    • 港口/矿区等非结构化场景

五、Truck-VLA 架构设计提案

基于以上分析,我提出一个面向重卡的 VLA 架构设计方案——Truck-VLA。它的核心思路是:保留 VLA 的语言推理能力,但替换感知层和动作层以适配重卡物理特性。

重卡 VLA 模型架构设计(Truck-VLA 提案)

5.1 三流感知架构

Truck-VLA 的第一层是多模态感知层,包含三个并行编码流:

视觉流(Vision Stream):处理多视角相机输入(前视长焦+环视广角+侧视),生成 BEV 语义特征和场景 token。与现有 VLA 不同的是,Truck-VLA 的视觉骨干需要考虑:

  • 远距特征提取:在 backbone 中保留更高分辨率的浅层特征(而不是下采样到 1/32),使用多尺度特征融合(类似 FPN)保持远距小目标的响应
  • 透视校正:由于卡车驾驶室高度导致的透视畸变,需要引入高度先验的 attention 偏置
  • 挂车遮挡 mask:预测挂车在自车坐标系中的当前所占区域,在此区域内降低 3D 检测的置信度阈值(因为遮挡区域中的目标更可能是真的)

3D 感知流(3D Perception Stream):处理 LiDAR + 4D 雷达点云,输出 3D 检测、跟踪和 occupancy 预测。重卡版本需要:

  • 感知范围扩展:前向 300m+,侧向 50m+,后方 100m+
  • 4D 雷达利用:利用 4D 雷达的速度测量能力在远距场景中直接检测运动目标(而不是依赖帧间匹配)
  • 挂车体态感知:在 BEV 空间中加入挂车的可变形边界表示,实时更新挂车的位置和朝向

物理状态流(Physical State Stream)——新增:这是 Truck-VLA 区别于所有现有 VLA 模型的关键组件。

物理状态流的输入是一个 $d_{phys}$ 维向量(建议 $d_{phys}=16$),包含:

$$ \mathbf{x}_{phys} = [M, h_{CG}, F_{z1}, \dots, F_{z6}, \alpha_{hitch}, \dot{\alpha}_{hitch}, z_{sus1}, \dots, z_{sus6}, \mu_{est}, T_{brake}]^\top $$

其中:

  • $M$:当前总重(t)
  • $h_{CG}$:估计质心高度(m)
  • $F_{z1..6}$:各轴/轮垂直载荷(kN)
  • $\alpha_{hitch}$:铰接角(rad)
  • $\dot{\alpha}_{hitch}$:铰接角速度(rad/s)
  • $z_{sus1..6}$:各悬挂高度(mm)
  • $\mu_{est}$:估计路面附着系数
  • $T_{brake}$:制动系统温度(°C)

这些连续值首先被归一化到 [-1, 1] 区间,然后通过一个轻量 MLP 映射到 $d_{token}$ 维的物理状态 token 序列,与视觉 token、语言 token 拼接后送入 VLM 骨干。

关键设计决策:物理状态 token 不是简单地拼接到序列末尾,而是按照语义位置插入——例如载荷信息 token 放在"然后"相关的推理段落之前,铰接角 token 放在空间推理相关的位置。这种语义对齐插入策略有助于 VLM 在推理时直接利用物理信息生成正确的文本和动作。

5.2 重卡专用 VLM 推理层

第二层是双系统推理层,分为慢思考和快执行两个回路:

慢思考回路(System 2):基于预训练 VLM(如 InternVL2 8B、Qwen2.5-VL 7B 或 DeepSeek-VL2),接收来自三流感知的 token 序列,采用两阶段生成策略:

  1. 感知阶段:先生成场景描述 token,格式为:

    [DRIVE]50m§20tCG1.6m§5°§80m90km/h[/DRIVE]
  2. 推理阶段:基于感知结果生成推理链 token:

    [REASON]60km/h0.32gLTR0.72>0.640km/h[/REASON]
  3. 指令阶段:输出决策指令 token:

    [ACTION]40km/h15%LTR0.5[/ACTION]

核心创新:与传统 VLA 不同,Truck-VLA 的 VLM 推理层被额外训练来理解物理状态 token。这意味着:

  • VLM 不再仅依赖视觉特征推断"车会不会翻",而是直接从载荷传感器读取"当前 LTR=0.72"这一事实
  • 训练时使用物理状态感知的 CoT 标注,让 VLM 学会将视觉场景与物理读数关联(例如:“从视觉上看到弯道,从传感器读到 LTR=0.72”)

5.3 重卡专用动作层

第三层是动作层,也采用双系统设计:

快执行回路(System 1):一个轻量化的轨迹生成器,使用 Flow Matching 或 Diffusion 作为生成框架(参考 pi0 的 action expert 设计),接收 VLM 推理结果的 embedding,输出:

$$ \mathbf{a}_t = [\tau_1, \dots, \tau_6, \delta_1, \dots, \delta_6] \in \mathbb{R}^{12} $$

轨迹生成过程中内置可微侧翻约束。具体而言,在生成过程中添加约束损失项:

$$ \mathcal{L}_{safety} = \lambda_{LTR} \cdot \max(0, |\widehat{LTR}| - \alpha_{LTR})^2 + \lambda_{jerk} \cdot \|\mathbf{a}_t - \mathbf{a}_{t-1}\|^2 $$

其中 $\widehat{LTR}$ 是动作层内部基于简化动力学模型估算的未来 LTR,$\alpha_{LTR}=0.6$ 是安全阈值。这个约束损失在训练和推理时都可以加入:训练时作为 loss 项影响梯度,推理时通过 guided sampling 或 classifier-guidance 方式影响生成轨迹。

世界模型预测器:在动作层中集成一个轻量级前向模型(MLP 或小型 transformer),输入当前状态 $\mathbf{s}_t$ 和候选动作 $\mathbf{a}_t$,预测未来 $n$ 帧的状态序列和侧翻安全指标:

$$ \{\mathbf{s}_{t+1}, \text{LTR}_{t+1}\}, \dots, \{\mathbf{s}_{t+n}, \text{LTR}_{t+n}\} = f_{WM}(\mathbf{s}_t, \mathbf{a}_t; \mathbf{\Theta}_{WM}) $$

如果预测到任何 $\text{LTR}_{t+i} > 0.6$,则触发 replan——回到 VLM 推理层重新给出更保守的指令,或者直接否决当前候选轨迹。

5.4 训练策略

Truck-VLA 的训练分为三个阶段:

阶段一:重卡 VLA 预训练(模仿学习)

使用重卡仿真数据(从 Phase 2 的仿真平台生成),对 VLM 骨干和动作头进行行为克隆预训练。数据格式为:

$$ \mathcal{D}_{BC} = \{(\mathbf{I}_t, \mathbf{P}_t, \mathbf{x}_{phys,t}, \mathbf{l}_t, \mathbf{a}_t^*)\} $$

其中 $\mathbf{I}_t$ 是图像序列,$\mathbf{P}_t$ 是点云,$\mathbf{x}_{phys,t}$ 是物理状态,$\mathbf{l}_t$ 是语言指令,$\mathbf{a}_t^*$ 是专家轨迹(由最优控制器或人工驾驶生成)。

预训练损失函数包括三部分:

$$ \mathcal{L}_{pretrain} = \mathcal{L}_{LM}(\text{reasoning}) + \lambda_1 \cdot \mathcal{L}_{BC}(\mathbf{a}, \mathbf{a}^*) + \lambda_2 \cdot \mathcal{L}_{safety} $$

阶段二:强化学习微调(GRPO)

在重卡仿真器中闭环训练。选择 GRPO(Group Relative Policy Optimization)而不是 PPO 的主要原因:GRPO 不需要 critic 网络,更适合 VLM 的 RL 微调(与 AutoVLA/DriveVLA 的训练方式一致)。奖励函数设计为多维加权和:

$$ R = w_{task} \cdot R_{task} + w_{safe} \cdot R_{safe} + w_{comfort} \cdot R_{comfort} + w_{lang} \cdot R_{lang} $$

其中:

  • $R_{task}$:任务完成奖励(到达目的地 + 时间效率)
  • $R_{safe}$:安全奖励(LTR 越低越好,平均 LTR 每降低 0.1 奖励 +0.2;LTR > 0.6 时惩罚 -1.0)
  • $R_{comfort}$:舒适奖励(加加速度 $\text{jerk} < 2\text{m/s}^3$ 时奖励 +0.1)
  • $R_{lang}$:语言遵从奖励(是否按导航指令行驶,semantic matching score)

阶段三:真实数据对齐

用真实卡车采集的传感器 + 载荷 + 轨迹数据微调,尤其针对长尾场景(极端载荷变化、湿滑路面等)。此阶段使用低学习率的 LoRA 微调,避免在真实数据上过拟合。

5.5 推理时的安全校验流程

Truck-VLA 的推理流程不是一步到位的,而是包含一个三级校验流水线

:F:l:o6:::wa,+:lVMLl3La仿TDMtRL+,EVcTnLhL>R6cM+iTonR0d+(g.iSL60,nyT.gsR6te>1rm2e0(Dp2.Sl)6yasnte(1m2tDo1k)en)

这个三级流水线确保了 Truck-VLA 在任何一步都能通过安全校验,而不是单纯依赖 VLM 的推理质量。


六、重卡世界模型:从视觉预测到物理因果预测

VLA 与**世界模型(World Model)**的结合是当前最前沿的方向(VLA-World、DynVLA、DriveWorld-VLA 等)。对重卡来说,世界模型的意义更加深远——因为重卡的"安全"不仅取决于是否碰撞,还取决于是否侧翻,而侧翻只能在物理因果的层面上被预测。

重卡 VLA 世界模型

6.1 现有世界模型的局限

当前的世界模型(GAIA-1、DriveDreamer、Cosmos、VLA-World)预测的是:

  • 未来帧图像序列(视觉层面)
  • BEV occupancy 演变(布局层面)
  • 自车+障碍物轨迹(运动学层面)

它们不预测任何动力学安全指标。对于重卡来说,这意味着世界模型给出的"看起来合理的未来"可能是"物理上会翻车的未来"。一个世界模型可以完美预测"卡车将以 60km/h 通过前方弯道"的视觉效果,但它无法告诉 VLA 这个操作是否会导致侧翻。

这个缺失可以被形式化描述为:现有世界模型是在观察空间做预测,而不是在物理状态空间做预测。对于乘用车,观察空间预测和物理状态空间预测的 gap 较小——因为乘用车的物理行为是近似安全的。但对重卡,这个 gap 可以决定生死。

6.2 重卡世界模型必须预测的物理量

Truck-VLA 的世界模型需要在传统的视觉预测之外,额外增加一组物理安全预测头。世界模型的输入是历史帧的联合特征(视觉+物理状态+动作),输出是多尺度预测:

视觉预测头(与传统世界模型一致):

  • 未来 1-3 帧的 BEV occupancy
  • 未来障碍物轨迹(检测+预测)

物理安全预测头(新增)

  1. 侧翻安全时序:$\widehat{\text{LTR}}(t+1), \widehat{\text{LTR}}(t+2), \dots, \widehat{\text{LTR}}(t+n)$ 的完整时序曲线。这个预测不仅要输出均值,还要输出置信区间——因为 LTR 预测的不确定性对安全决策至关重要
  2. 动态载荷转移量:制动时的前轴增载比 $\Delta F_{z,front}/F_{z,total}$、过弯时的左右载荷差 $\Delta F_{z,LR}$
  3. 轮胎附着力利用率:各轮 $\mu_{utilization} = \sqrt{F_x^2 + F_y^2} / (\mu \cdot F_z)$ 的时序预测,识别即将打滑的轮子
  4. CG 高度变化:由于悬挂压缩/伸展导致的瞬时 CG 变化量 $\Delta h_{CG}$
  5. 铰接角预测:未来 $n$ 帧的 $\hat{\alpha}_{hitch}$ 和 $\hat{\dot{\alpha}}_{hitch}$,用于预测挂车折叠(jackknife)风险

6.3 世界模型的三重作用

在 Truck-VLA 中,世界模型扮演三个角色:

角色一:梦境回放(Dreaming for Contrastive Learning)

用世界模型从一个真实场景出发,通过改变动作输入生成同一场景在"安全"和"不安全"两个分支下的未来预测。具体来说:

  • 给定真实场景 $\mathcal{S}_0$,有两个候选动作分支:A = “以 60km/h 过弯” 和 B = “以 40km/h 过弯”
  • 世界模型 rollout 得到两个分支的完整未来序列:
    • A: LTR 从 0.3 升至 0.8(侧翻风险)
    • B: LTR 从 0.3 降至 0.4(安全)
  • 这对对比数据被用来训练 VLA 的偏好——在训练时,要求 VLA 的语言推理层输出"应选择 B,因为 A 会导致侧翻"

这个对比学习过程的关键在于:世界模型提供了物理因果关系的训练信号,而不是简单的模仿学习。

角色二:想象 Rollout(Imagination Rollout for RL)

在 GRPO 强化学习训练中,世界模型代替昂贵的重卡动力学仿真器进行策略展开。具体方法是:

  • VLA 在当前状态 $\mathbf{s}_t$ 下输出动作 $\mathbf{a}_t$
  • 世界模型预测 $\mathbf{s}_{t+1}$ 和 $\text{LTR}_{t+1}$
  • 重复 rollout $T$ 步,计算累积奖励 $R = \sum_{i=1}^T \gamma^{i-1} r(\mathbf{s}_{t+i}, \text{LTR}_{t+i})$

关键差异在于:世界模型会预测 LTR,让策略在"想象"中就看到侧翻后果。这比传统世界模型提供的"视觉想象"要安全得多——策略学会的是"避免侧翻",而不是"看起来没撞车"。

角色三:安全约束蒸馏(Safety Distillation)

世界模型经过充分训练后,其中蕴含的动力学安全知识可以被蒸馏到 VLA 的动作头中:

$$ \mathcal{L}_{distill} = \| \mathbf{a}_{VLA}(\mathbf{s}_t) - \mathbf{a}_{WM-safe}(\mathbf{s}_t) \|^2 $$

其中 $\mathbf{a}_{WM-safe}$ 是世界模型在 $\mathbf{s}_t$ 下通过 rollout 搜索找到的最优安全动作。蒸馏的效果是:推理时不调用世界模型(节省算力),但动作头仍然具备近似世界模型的安全判断能力。这与 DriveVLA-W0 的"离散特征对齐"思路类似,但是安全层面的对齐。

6.4 世界模型的训练

Truck-VLA 的世界模型训练使用混合损失函数:

$$ \mathcal{L}_{WM} = \lambda_{vis} \cdot \mathcal{L}_{vis} + \lambda_{occ} \cdot \mathcal{L}_{occ} + \lambda_{dyn} \cdot \mathcal{L}_{dyn} $$

其中:

  • $\mathcal{L}_{vis}$:视觉重建损失(MSE 或 VQ 损失)
  • $\mathcal{L}_{occ}$:BEV occupancy 交叉熵损失
  • $\mathcal{L}_{dyn}$:物理量预测损失(LTR、轴荷等的 MSE)

训练数据来自重卡仿真平台。关键设计是:仿真数据必须包含不同载荷配置下的轨迹-物理量对,才能让世界模型学会"同样的驾驶操作在不同载荷下的不同后果"。


七、填补空白的路线图

回到开头的问题:重卡 VLA 是一个巨大的研究空白,从哪里开始?我按照难度和依赖关系将路线图分为四个阶段:

Phase 1:构建重卡 VLA 数据集(3-6 个月)

这是整个路线图的基础。没有数据集,一切无从谈起。好消息是:不需要从头采集数据,可以在现有数据集上做后标注(post-annotation)。

具体任务:

  1. 语言标注:在 MAN TruckScenes 和 TruckDrive 的数据上,为每个场景/帧添加:
    • 场景描述:“卡车满载在高速公路上以 80km/h 行驶,前方 200m 处有慢车”
    • 危险提示:“前方弯道 R=50m,建议从 60km/h 减速至 35km/h”
    • 导航指令:“在 1km 后靠右驶出高速”
    • 指令-动作对齐:将语言指令与对应的驾驶动作时间戳对齐
  2. 物理状态标注:如果原始数据没有记录载荷信息,通过车辆动力学模型反向估计:
    • 利用加速度、倾角、悬挂数据的时序信号估计各轴轴荷
    • 使用扩展卡尔曼滤波(EKF)联合估计质量和 CG 高度
    • 标注 LTR 时序、侧倾角时序(精度不如传感器直接测量,但足够训练 VLA)
  3. 评估基准标注:为每个场景标注"安全驾驶轨迹"(由人类专家或最优控制器生成),作为后续评测的 ground truth

可行性评估:Phase 1 的技术难度较低(主要是标注工作量),但需要与 MAN/Amazon/Torc 等拥有重卡数据集的机构合作获取原始数据授权。预计需要 3-6 个月完成 10K+ 场景的标注。

Phase 2:建设重卡 VLA 仿真平台(6-12 个月)

这是技术难度最高但最关键的一步。仿真平台是 VLA 模型训练和评测的基础设施,缺少它后续所有工作都无法闭环。

具体构建方案:基于 nuTruck 仿真器进行扩展:

  1. 动力学提升:将 nuTruck 当前使用的 5-DOF 模型升级到 10+ DOF:
    • 增加轮胎松弛动力学(relaxation length)
    • 增加悬挂非线性模型(包含限位块、摩擦)
    • 增加挂车 sway 动力学
    • 增加制动热力学模型(用于预测热衰退)
  2. 语言接口
    • 语言指令输入 API:env.set_instruction("在下个出口驶出高速")
    • 场景描述自动生成:基于场景拓扑自动合成自然语言描述
    • 推理链自动评测:与专家推理链的语义相似度
  3. VLA 评测协议 PDMS-Truck
    • 开环指标:L2 位移误差 + 航向误差 + 平均 LTR + LTR 超限率
    • 闭环指标:PDMS-Truck(安全加权 PDMS,侧翻权重占比 30%)
    • 语言遵从度:指令执行匹配率
  4. 世界模型训练数据生成
    • 批量生成不同载荷、路面、场景组合下的轨迹-物理量-视觉数据对
    • 生成对抗性场景(紧急避障+满载+湿滑路面等高危险组合)

可行性评估:Phase 2 需要极强的仿真工程能力。推荐的实现路径是 fork nuTruck 的代码仓库(基于 nuPlan),在其上叠加 VLA 接口。预计需要 6-12 个月。

Phase 3:首次重卡 VLA 基线(6 个月)

有了数据(Phase 1)和平台(Phase 2),就可以开始训练了。Phase 3 的目标不是做一个"完美的重卡 VLA",而是建立第一个公开可复现的基线

具体方案:基于现有的开源 VLA 模型(如 OpenDriveVLA 或 DriveVLA-W0)改造:

  1. 增加物理状态编码器(1-2 周):
    • 在 VLM 输入的 token 序列中插入物理状态 token
    • 使用 LoRA 微调 VLM 骨干使其理解这些新 token 的语义
  2. 更换动作头为 12 维扩散头(1-2 月):
    • 基于 pi0 或 DiffusionDrive 的 Flow Matching 动作专家
    • 增加可微 LTR 约束损失
    • 验证 12 维扩散动作空间在重卡场景上的收敛性
  3. 在重卡仿真平台上训练和评测(2-3 月):
    • 使用 Phase 1 的数据做行为克隆预训练
    • 使用 GRPO 在仿真平台上闭环微调
    • 在 Phase 2 的 PDMS-Truck 协议上评测
  4. 消融实验(1-2 月):
    • 有物理状态 token vs 无物理状态 token(验证载荷信息对侧翻安全的影响)
    • 2D 动作输出 vs 12D 动作输出(验证全轮独立转向的收益)
    • 有世界模型安全蒸馏 vs 无蒸馏

核心假设验证:Phase 3 要回答的最重要的问题是——“加上载荷信息是否实质性地改善了重卡 VLA 的侧翻安全性?“如果答案是肯定的,这个方向就值得大规模投入。

Phase 4:闭环验证与实地测试(持续)

在真实重卡上部署 Truck-VLA 模型:

  1. 硬件在环测试:在真实卡车上运行 VLA 推理,但动作指令经过安全硬保护层(Safety Cage)校验通过后再执行
  2. 封闭场地测试:在测试场中验证 VLA 在极端载荷、湿滑路面、紧急避障等场景下的表现
  3. 开放道路测试:在安全员的监督下进行高速公路和港口等重卡典型场景的测试

路线图总览

Pha----seVL1A(:3-6)n-uPV---ThLraA1Pus仿0Dce+MkDS2O-FT:(r6u-c1k2)VL-PA-hP-1ah线2saD-eseG1R+3P2O:(6)---PPShhaaafss-eeety34C:(age)

风险与缓解

风险概率影响缓解措施
重卡数据集授权困难与 Torc/Aurora 等企业建立合作;自行采集小规模数据
12D 扩散动作难以收敛先用 6D 降维版本验证可行性,逐步扩展到 12D
仿真-真实 gap提前引入 domain randomization
缺乏评测协议共识提出 PDMS-Truck 作为初始提案,接受社区改进

八、结语

2024-2026 年的 VLA 热潮重塑了自动驾驶的技术路线,但这场革命绕过了重卡。100+ 篇论文、20+ 开源模型、多个评测基准——全是乘用车的。重卡从 VLA 的发展中没有获得任何直接收益。

重卡 VLA 不仅仅是一个"缺少数据集"的问题——如果只是缺数据,花半年标注就有了。真正的问题在于,重卡的物理特性和安全需求从根本上挑战了现有 VLA 的架构假设

  1. 物理感知的扩展:载荷传感器必须成为 VLA 的一等公民。乘用车 VLA 的"图像 + LiDAR + IMU"输入空间对重卡远远不够。轴荷、质心、铰接角这些物理量需要被直接测量并编码进 VLA 的 token 空间。
  2. 动力学安全的回归:VLA 必须理解侧翻物理,不只要"看起来对”。这要求将 LTR、载荷载移等动力学指标内化到 VLA 的训练目标和推理约束中。
  3. 铰接结构的建模:牵引车+挂车的双体感知是全新课题。现有 VLA 的刚性车身假设完全不适用于铰接车辆,需要全新的 attention 机制来建模挂车体态。
  4. 动作空间的升维:12 维独立轮控 vs 2 维传统控制。现有 VLA 的动作头无法处理 DET 的高维动作空间,而简单的降维映射会丢失全轮独立转向的核心价值。
  5. 高保真仿真平台:现有平台全不支持重卡 VLA。CARLA、MetaDrive、NAVSIM 都缺重卡动力学;TruckSim 和 nuTruck 仿真器缺语言接口和 VLA 评测协议。
  6. 多维度世界模型:重卡的世界模型不仅需要预测视觉未来,还需要预测物理安全未来——这是现有世界模型从未涉及的研究方向。

这些问题每一个都值得一篇独立的论文。从"在 MAN TruckScenes 上标注推理链"到"12D 扩散动作空间的收敛性分析"到"重卡动力学约束的 VLA 奖励设计”——每个子问题都是可以独立发表的完整工作。

对研究者的建议

如果你对这个方向感兴趣,以下是我认为最有价值的切入点:

  1. 短期(3-6 月)
    • 在现有重卡数据集上标注 VLA 格式的指令-动作对(发表 VLA 标注基准论文)
    • 评估现有 VLA 模型在重卡数据上的迁移性能(发表迁移分析论文)
  2. 中期(6-12 月)
    • 扩展 nuTruck 仿真器为 VLA 训练平台(发表仿真平台+评测协议论文)
    • 训练第一个重卡 VLA 基线模型(发表 VLA-Truck 基线论文)
  3. 长期(12-24 月)
    • 重卡世界模型(物理安全预测头 + 安全蒸馏)
    • 铰接结构感知的 VLA attention 机制

对产业界的建议

  • Aurora/Torc/Kodiak:你们的真实重卡数据和工程经验是学术界最缺乏的资源。考虑开源部分感知数据和载荷数据,或设立重卡 VLA 研究挑战赛。
  • 仿真平台公司:重卡动力学 + 语言接口是仿真器的重要差异化功能。TruckSim、CARLA 等应考虑增加重卡 VLA 支持。
  • VLA 开源社区:重卡不是"小众领域"。全球卡车运输业每年产值 7000 亿美元,L4 重卡的落地需求迫在眉睫。VLA 社区应该关注这个方向。

这些问题每一个都值得一篇独立的论文。而现在,它们全都等着被解决。


参考文献

  1. nuTruck: Benchmarking Autonomous Driving Planning for Distributed Electric-drive Trucks - arXiv:2607.13704, 2026
  2. Vision-Language-Action Models for Autonomous Driving: Past, Present, and Future - arXiv:2512.16760, 2025
  3. MAN TruckScenes: A multimodal dataset for autonomous trucking in diverse conditions - NeurIPS, 2024
  4. TruckDrive: Long-Range Autonomous Highway Driving Dataset - CVPR, 2026
  5. TruckV2X: A Truck-Centered Perception Dataset - arXiv, 2025
  6. AutoVLA: A Vision-Language-Action Model with Adaptive Reasoning and Reinforcement Fine-Tuning - arXiv:2506.13757, 2025
  7. OpenDriveVLA: Towards End-to-end Autonomous Driving with Large Vision Language Action Model - arXiv:2503.23463, 2025
  8. CoVLA: Comprehensive Vision-Language-Action Dataset for Autonomous Driving - WACV, 2025
  9. Anti-rollover Artificial Potential Field Motion Planning of an Autonomous Heavy Truck Optimised by Game Theory - CJME, 2024
  10. Rollover Prevention and Motion Planning for an Intelligent Heavy Truck - CJME, 2021
  11. DriveVLM: The Convergence of Autonomous Driving and Large Vision-Language Models - arXiv:2402.12289, 2024
  12. DiffusionDrive: Truncated Diffusion Model for End-to-End Autonomous Driving - arXiv:2410.02526, 2024
  13. pi0: A Vision-Language-Action Flow Model for General Robot Control - arXiv, 2025
  14. DriveVLA-W0: A World Model Guided VLA for Autonomous Driving - arXiv, 2026
  15. Longitudinal Safety Distance Control Considering Cargo Load for Heavy Trucks - ICVES, 2025
  16. GRPO: Group Relative Policy Optimization for Reasoning in Large Language Models - DeepSeek, 2025
  17. Flow Matching for Generative Modeling - ICLR, 2023
  18. Impromptu VLA: A Vision-Language-Action Dataset for Autonomous Driving - NeurIPS, 2025
  19. nuReasoning: A Reasoning-Enhanced Dataset for Autonomous Driving - arXiv, 2026
  20. GAIA-1: A Generative World Model for Autonomous Driving - arXiv, 2023