引言:100 篇 VLA 论文,0 篇属于重卡
如果你关注自动驾驶领域的最新进展,一定注意到 2024-2026 年间 VLA(Vision-Language-Action)模型的爆发式增长。从 AutoVLA、DriveVLM、EMMA、OpenDriveVLA 到 SAMoE-VLA、LaST-VLA、UniDriveVLA,光是 arXiv 上能找到的自动驾驶 VLA 论文就已超过 100 篇。
但这里有一个令人震惊的事实:
这 100+ 篇论文,没有一篇专门针对重卡(heavy-duty truck)场景。 所有模型都在乘用车数据集(nuScenes、Waymo Open Dataset、Bench2Drive、CARLA)上训练和评测。
与此同时,重卡自动驾驶的产业化进程正在加速:Aurora 于 2025 年在德州启动了无安全员的 L4 商业运营,Kodiak AI 已将 VLM 部署在自家卡车感知栈上,Torc Robotics 计划 2027 年量产 L4 卡车。重卡自动驾驶的市场需求是真实且急迫的——美国卡车运输业每年承担着超过 7000 亿美元的货物运输,卡车司机缺口超过 10 万人。然而学术界对重卡 VLA 的研究仍然是一片空白。这不仅是学术上的缺憾,更是产业落地的关键瓶颈。
本文的目标是:
- 定义这个空白:为什么现有 VLA 方法不能直接迁移到重卡?
- 分析根本原因:哪些维度造成了迁移障碍?
- 提出架构方案:Truck-VLA 应该怎么设计?
- 给出路线图:从哪里开始填补这个空白?
一、VLA 简史:从 VA 到 VLA 的演进
在深入重卡之前,先回顾一下自动驾驶 VLA 的整体图景。
1.1 三个时代
自动驾驶的"感知-决策-控制"管线经历了三个阶段:
VA 时代(2016-2023):视觉-动作模型,直接从传感器映射到控制输出。代表工作包括 ALVINN、ChauffeurNet、TransFuser、UniAD、VAD。核心局限是黑盒推理、长尾泛化差、无法理解语言指令。这一时期的模型本质上是"感知→轨迹"的纯回归映射,缺乏显式推理能力。
VLM 时代(2023-2024):视觉-语言模型被引入驾驶场景,用于场景理解、问答和解释。代表工作包括 DriveLM、DriveVLM、DriveGPT4。但 VLM 只输出文本,不产生物理动作。它们的作用更接近"副驾驶"——能够描述场景、回答问题,但不能直接控制车辆。
VLA 时代(2024-至今):将 VLM 的推理能力与动作执行统一在同一框架内。WorldBench 团队的综述(arXiv: 2512.16760)给出了最清晰的分类:

1.2 两大范式
综述提出的分类法将所有 VLA 模型分为两类:
端到端 VLA(End-to-End VLA):一个模型完成感知+推理+规划,VLM 直接输出动作(action tokens)。代表工作:AutoVLA(GRPO 微调)、EMMA(Waymo)、SimLingo。这类模型的优势在于 Pipeline 高度统一、梯度可以端到端传播、推理速度快。但缺点是动作质量严重依赖 VLM 骨干本身的表达能力,且缺少专门的安全校验机制。
双系统 VLA(Dual-System VLA):分离"慢思考"(VLM 负责推理)和"快执行"(规划器负责安全动作)。代表工作:DriveVLM、InsightDrive、Diff-VLA。VLM 输出的是一个"推理结果"(文字描述的场景理解+决策建议),而实际轨迹由下游的规划器生成。这种架构天然具备更好的安全性和可解释性,但系统复杂度和推理延迟更高。
下表总结了当前主流 VLA 模型及其使用的数据集和动作空间:
| 模型 | 范式 | 数据集 | 动作空间 | 重卡适配? |
|---|---|---|---|---|
| AutoVLA | 端到端 | nuScenes, Bench2Drive | 2D(转向+速度) | ❌ |
| EMMA | 端到端 | Waymo Open Dataset | 2D(路径点) | ❌ |
| DriveVLM | 双系统 | nuScenes, DRAMA | 2D(路径点) | ❌ |
| InsightDrive | 双系统 | nuScenes, BDD | 2D(转向+速度) | ❌ |
| OpenDriveVLA | 端到端 | Bench2Drive, nuScenes | 2D(路径点) | ❌ |
| SamoE-VLA | 端到端 | Bench2Drive | 2D(路径点) | ❌ |
| Pi0 (通用VLA) | 端到端 | OXE (机器人) | 6-50D (机器人动作) | ❌ |
| Diff-VLA | 双系统 | nuScenes, Bench2Drive | 2D(路径点) | ❌ |
| SimLingo | 端到端 | Bench2Drive | 2D(路径点+速度) | ❌ |
从这个表格可以清晰地看到两个问题:
- 所有模型都在乘用车数据集上训练,没有一个使用重卡数据
- 所有模型的输出空间都是 2-4 维,远低于重卡所需的 12 维
1.3 但它们全是乘用车的
现在回到核心问题:这 100+ 篇论文使用的数据集、仿真环境、动作空间、安全假设——全部基于乘用车设定。下一节我们分析为什么这种设定不能延伸到重卡。
二、为什么重卡 VLA 不是"加个卡车数据集"就能解决的
2.1 动力学差异:运动学模型对重卡完全失效
乘用车 VLA 使用的运动学模型(kinematic model)通常只考虑位置 $(x,y)$、朝向角 $\theta$、速度 $v$ 和曲率 $\kappa$——即状态空间 $\mathbf{s} = [x, y, \theta, v]$,控制空间 $\mathbf{u} = [a, \delta]$(加速度+前轮转角)。这对轿车是合理的,因为轿车在常规驾驶中不会出现显著的动力学极限行为。
但重卡的物理特性完全不同,定量对比如下:
| 物理量 | 乘用车 | 重卡(满载) | 差异倍数 |
|---|---|---|---|
| 总质量 | 1.5-2.0 t | 40-60 t | 20-30x |
| 质心高度 | 0.5-0.6 m | 1.5-1.8 m | 3x |
| 轴数 | 2轴4轮 | 3轴6轮+挂车轴 | — |
| 80→0 km/h 制动距离 | 30-40 m | 60-80 m | 2x |
| 侧翻临界横向加速度 | ~0.8g | 0.25-0.4g | 0.3-0.5x |
| 车长 | 4-5 m | 16-22 m (含挂车) | 4x |
这些差异意味着重卡不能用运动学模型近似。一个关键的量化判据是横向载荷转移率(Lateral Load Transfer Ratio, LTR),定义为左右轮垂直载荷之差除以总垂直载荷:
$$ \text{LTR} = \frac{F_{zL} - F_{zR}}{F_{zL} + F_{zR}} $$LTR 的取值范围是 [-1, 1]——当 |LTR| 接近 1 时,内侧车轮离开地面,侧翻即将发生。简化条件下,LTR 与横向加速度 $a_y$、质心高度 $h_{CG}$ 和轮距 $w$ 的关系为:
$$ \text{LTR} \approx \frac{2 \cdot h_{CG} \cdot a_y}{g \cdot w} $$代入重卡的典型值($h_{CG} = 1.6\text{m}, w = 2.0\text{m}$)得到:$a_y = 0.3g$ 时 LTR 已达 0.48,$a_y = 0.4g$ 时 LTR 为 0.64——已经非常接近侧翻阈值。而乘用车($h_{CG}=0.5\text{m}, w=1.6\text{m}$)在同样的 $a_y = 0.4g$ 下 LTR 仅为 0.25。
这就是为什么 nuTruck 论文(arXiv: 2607.13704)用一个简单实验就证明了问题的严重性:一条在 nuPlan 上被完美跟踪的无碰撞轨迹,换到重卡动力学模型上跟踪,会因为转向半径过小+车速过高而导致 LTR 爆表——运动学上安全的轨迹,动力学会翻车。
这意味着:VLA 模型的动作头如果只输出运动学轨迹(路径点/曲率/速度),对于重卡来说是不够的。 必须引入高保真动力学模型(至少 5-DOF 三轴模型),并让 VLA 学会预测和规避 LTR 超限的行为。
2.2 动作空间维度爆炸
乘用车 VLA 的动作空间通常是 2-4 维(油门/刹车/转向)。这对乘用车足够了,因为传统乘用车本质上是一个欠驱动系统——驾驶员只有方向盘、油门和刹车三个操控输入。
但对于分布式电驱重卡(Distributed Electric-drive Truck, DET),情况完全不同。DET 的每个轮子都有独立的电机和转向执行器,动作空间变为:
- 6 个轮子各自的驱动力矩:$\tau_1, \tau_2, \dots, \tau_6$
- 6 个轮子各自的转向角:$\delta_1, \delta_2, \dots, \delta_6$
- 总计 12 维连续动作空间
为什么需要 12 维?因为 DET 的全轮独立转向能实现乘用车做不到的机动模式:
- FRO 模式(前轮转向):与传统卡车相同,仅前两轮转向
- ALL 模式(全轮转向):所有轮子参与转向,大幅减小转弯半径
- 斜行模式:所有轮子朝同一角度偏转,实现横向平移
- 原地转向:左右轮反转,实现极小半径掉头
这些模式对重卡在港口、矿区、仓库等狭窄场景下的机动性至关重要。简单地将 12 维动作压成 2 维会丢失 DET 的核心能力。
此外,12 维动作空间也给 VLA 的动作头设计带来了根本性挑战:
- 语言头无法输出 12 维连续数值
- 回归头需要处理高维输出的多模态分布(同一场景可能存在多个合理动作配置)
- **生成头(扩散/Flow Matching)**目前只在 2-4 维动作空间中验证过,扩展到 12 维的收敛性和采样质量是开放问题
2.3 感知视角完全不同
乘用车 VLA 的感知配置通常是 6 路环视相机(nuScenes 标准配置),安装在轿车顶部或挡风玻璃处。重卡的感知配置完全不同,差异不仅仅是传感器数量的不同:
视角差异:
- 卡车驾驶室顶部比轿车高 1-2 米,导致相机透视矩阵中的消失点位置、地平线高度、像素-米尺度映射关系全部改变
- 现有 VLA 视觉骨干(ViT、ResNet)在 ImageNet/nuScenes 上预训练,从未见过卡车高度的画面
- 一个在乘用车感知上训练好的 BEV 转换网络,直接用在卡车上会产生系统性尺度误差
远距需求:
- 市区乘用车场景的感知任务范围通常在 30-100m(nuScenes 标注范围 50m)
- 高速公路重卡需要 300-1000m 的感知距离(TruckDrive 数据集要求前向 1000m、两侧 100m)
- 这对特征提取网络的有效感受野和下采样率提出了完全不同的要求
- 现有 VLA 使用的 ViT-B/L 骨干在长距特征编码上没有专门优化
传感器配置差异:
- 乘用车:6 路环视相机(典型 30°-60° FOV),1 个顶部 LiDAR
- 重卡:前向长焦相机(检测远距目标)+ 广角侧视相机 + 后视相机 + 多个 4D 雷达 + 侧向 LiDAR
- 挂车后方通常需要额外传感器(挂车本身遮挡了牵引车后方的视野)
2.4 挂车遮挡:VLA 从未处理过的问题
重卡的铰接结构(牵引车+挂车)带来了乘用车领域完全不存在的感知挑战:挂车自身造成的动态遮挡。
这个问题有多严重?想象一辆带 17.5m 标准挂车的重卡向右转弯。挂车会沿更小的半径"抄近路",其左侧车体会挡住牵引车右侧后视镜中原本可以看到的区域。此时牵引车的右后方出现了一个完全被挂车遮挡的"盲区三角"。如果有一辆自行车恰好在这个区域,VLA 模型需要预测到它的存在——但视觉上完全看不到。
具体而言,挂车遮挡带来了几个问题:
- 动态遮挡模式:遮挡区域随铰接角 $\alpha$(牵引车与挂车纵轴的夹角)持续变化
- 自身姿态感知:VLA 需要知道挂车当前在哪里——这要求模型有"自身体态感知"能力
- 语义混淆:挂车侧壁上的文字/图案可能被 VLA 误判为环境物体
- 多挂车情况:未来可能使用 B-double(双挂车)车型,铰接自由度从 1 变为 2,问题复杂度进一步升级
现有 VLA 模型处理的是"刚性车身"场景,编码器-解码器架构中完全没有处理可动部件的模块。即使是最先进的 BEVFormer 或 PETR,其空间 attention 也假设自车是一个刚体。要让 VLA 理解铰接结构,需要在 attention 中引入铰接运动学先验——这是一个尚未被探索的研究方向。
2.5 制动与安全距离的维度差异
重卡和乘用车的制动特性差异不仅在于距离长短,还在于制动安全的维度完全不同:
- 制动热衰退:重卡频繁制动时刹车鼓/盘温度可达 400°C 以上,摩擦系数显著下降。乘用车 VLA 完全不需要考虑这个因素。
- 挂车 sway 效应:紧急制动时挂车可能左右摇摆(trailer sway),严重时导致折叠(jackknife)。VLA 需要学习避免触发这种不稳定的制动策略。
- 载荷对制动的影响:满载卡车在湿滑路面上的制动距离是干燥路面的 1.8-2.5 倍——而乘用车这个比例只有 1.2-1.5 倍。VLA 的策略必须根据当前载荷动态调整安全跟车距离。
- 辅助制动:重卡普遍使用发动机制动(Jake Brake)和液力缓速器(Retarder)辅助减速。VLA 需要学会协调主制动与辅助制动的时序。
这些维度乘用车 VLA 完全不需要考虑,但对重卡安全至关重要。
三、载荷传感器:重卡 VLA 最被忽视的输入
如果说前面几个挑战是"架构问题",那载荷传感器就是数据问题——也是最容易被忽视的问题。
3.1 重卡特有的物理状态
乘用车 VLA 的输入包括:图像、LiDAR 点云、GPS/IMU、车身速度/转向角。这些信息对控制来说基本够用——乘用车的质量变化(1-5 个乘客,约 5%-20% 总重)对动力学的影响是二阶的。
但重卡 VLA 还需要以下信息才能做出安全决策,因为质量变化可达 3 倍(空载 15t → 满载 40t),而且载荷位置的改变会根本性地改变车辆的动力学行为:
关键物理量及其影响:
| 物理量 | 传感器方式 | 变化范围 | 对安全的影响 |
|---|---|---|---|
| 各轴轴荷 | 空气悬挂压力传感器 | 0-16t/轴 | 决定制动分配、侧翻阈值 |
| 总重 | 轴荷求和 | 15-40t | 制动距离 2x 差异 |
| 质心高度 | 悬挂高度传感器 + 估算 | 1.0-1.8m | LTR 与 h_CG 成正比 |
| 动态载荷转移 | IMU + 轴荷时序 | ±30% 轴荷 | 过弯/制动稳定性 |
| 挂车铰接角 | 铰接角度传感器 | 0°-120° | 防止折叠、盲区预测 |
| 路面附着系数 | 轮胎力估算 | μ=0.15-0.85 | 制动/转向极限 |
这些物理量不能"从图像中推断"——压力传感器和应变计的精度远超视觉估计。试图用纯视觉推断载荷会面临三方面困难:
- 视觉上看不到装载物的密度(同样体积的钢材 vs 泡沫塑料,质量差 20 倍)
- 质心高度取决于装载物的垂直分布,视觉只能看到表面
- 动态载荷是力的时序变化,视觉只能看到位置变化
3.2 为什么现有 VLA 无法处理载荷变化
现有 VLA 模型在训练时,所有轨迹都来自固定动力学参数的乘用车。模型学到的是"在这种情况下打这个方向盘角度→车这样转"的映射——这个映射的动力学参数 $\mathcal{M}$ 是固定的。
对重卡来说,部分观测下的动力学方程是:
$$ \mathbf{s}_{t+1} = f(\mathbf{s}_t, \mathbf{u}_t; \mathbf{\Theta}) $$其中 $\mathbf{\Theta} = [M, I_{zz}, h_{CG}, C_{\alpha}, \dots]$ 是动力学参数,$M$ 是质量,$I_{zz}$ 是横摆转动惯量,$h_{CG}$ 是质心高度,$C_{\alpha}$ 是轮胎侧偏刚度。对于乘用车 VLA,$\mathbf{\Theta}$ 被视为常数。但重卡的 $\mathbf{\Theta}$ 是时变的——完全相同的 $\mathbf{s}_t$ 和 $\mathbf{u}_t$,空载和满载产生的 $\mathbf{s}_{t+1}$ 完全不同。
这意味着:如果没有载荷信息作为 VLA 的条件输入,模型无法区分"安全的快速过弯"和"危险的快速过弯"。 同一个转向角 + 速度的输入,在空载时可能 LTR=0.3(安全),在满载时 LTR=0.7(即将侧翻)。没有载荷信息,模型无法从状态中辨别这两种情况。
3.3 安全临界值的动态变化
重卡的安全边界不是固定的,而是随载荷动态变化的函数:
- 空载:横向加速度限值约 0.4g(LTR 阈值 0.6)
- 半载:横向加速度限值约 0.3g(LTR 阈值 0.6)
- 满载:横向加速度限值约 0.25g(LTR 阈值 0.6)
注意 LTR 阈值是固定的(0.6 作为安全边界),但由于 $h_{CG}$ 随载荷变化,对应的横向加速度限值从 0.25g 变化到 0.4g——相差 60%。
此外,安全边界还受以下因素影响:
- 载荷分布:前重后轻 vs 后重前轻导致不同的转向特性(不足转向 vs 过度转向)
- 路面附着系数:干燥(μ=0.85)、湿滑(μ=0.5)、冰雪(μ=0.15)下侧翻风险完全不同
- 悬挂状态:气囊悬挂失效时侧倾刚度下降 40-50%
- 货物类型:液体货物在转弯时产生货物激荡(sloshing),增加侧翻风险
VLA 模型如果要输出"安全的"轨迹,必须感知当前的载荷状态,并将其作为决策的约束条件。这不仅是传感器问题,更是模型架构问题——载荷信息需要被编码进 VLA 的多模态输入空间。
四、数据集、基准与仿真平台:三项缺失
4.1 现有重卡数据集不支持 VLA
目前公开发布的重卡数据集只有三个,而且全部只服务于感知任务:
| 数据集 | 类型 | 规模 | 传感器 | 含语言标注? | 含动力学标签? |
|---|---|---|---|---|---|
| MAN TruckScenes (NeurIPS 2024) | 3D检测/跟踪 | 747场景 | 4cam+6LiDAR+6radar | ❌ | ❌ |
| TruckDrive (CVPR 2026) | 远距感知 | 475K帧/165K标注 | 7LiDAR+10radar+11-15cam | ❌ | ❌ |
| TruckV2X (arXiv 2025) | 协同感知 | 多车+路侧 | 车端+路侧传感器 | ❌ | ❌ |
对比乘用车 VLA 的丰富数据生态:
| 数据集 | 用途 | 规模 | 与重卡的差距 |
|---|---|---|---|
| DriveLM (ECCV 2024) | 图级 QA 标注 | nuScenes 全量 | 重卡无等价物 |
| CoVLA (WACV 2025) | 语言-动作对 | 34K 标注帧 | 重卡无等价物 |
| Impromptu VLA (NeurIPS 2025) | 多任务 QA | 80K 视频片段 | 重卡无等价物 |
| nuReasoning (arXiv 2026) | 推理链 | 未知规模 | 重卡无等价物 |
| NuInstruct (CVPR 2025) | 指令跟随 | 992 场景 | 重卡无等价物 |
| DriveLM-Chat | 对话式 QA | 多轮对话 | 重卡无等价物 |
重卡 VLA 连最基本的数据集都没有。 你甚至找不到一个带自然语言标注的重卡驾驶视频片段。
更严重的是,即使有人愿意做语言标注,现有重卡数据集还缺少 VLA 训练所需的另两个关键要素:
- 动力学标签缺失:轴荷、LTR、侧倾角、铰接角等物理量在采集时没有记录——因为在当时的数据集设计目标中,这些信息不重要。但这些正是 VLA 训练所需的。
- 动作标注缺失:CoVLA 等乘用车数据集包含了"语言描述 → 实际驾驶动作"的对齐标注。重卡数据集完全没有人做过这样的标注。
- 多模态指令缺失:“在下个出口驶出高速”、“前方有事故小心驾驶”、“减速过弯”——这类自然语言指令与驾驶动作的配对数据,在重卡领域完全不存在。
4.2 仿真平台缺口
现有的自动驾驶仿真平台存在巨大的重卡缺口:
| 平台 | 重卡动力学 | 语言接口 | VLA 评测 |
|---|---|---|---|
| CARLA | ❌ 仅有乘用车 | ❌ | ❌ |
| MetaDrive | ❌ | ❌ | ❌ |
| nuPlan/NAVSIM | ❌ | ❌ | ❌ |
| Bench2Drive | ❌ | ✅ 部分(指令) | ❌ |
| TruckSim | ✅ 高保真(商用) | ❌ | ❌ |
| nuTruck 仿真器 | ✅(5-DOF 开源) | ❌ | ❌ |
| 需要: 重卡 VLA 仿真 | ❌ | ❌ | ❌ |
nuTruck 论文已经做了一个重卡动力学仿真器(基于 nuPlan 场景 + 5-DOF 三轴动力学模型),但存在以下局限:
- 没有语言接口:无法输入导航指令或场景问答
- 没有 VLA 评测协议:只支持运动学指标(L2 误差、碰撞率),不支持语言遵从度等 VLA 特有指标
- 仿真保真度有限:5-DOF 模型未包含轮胎松弛动力学、悬挂非线性、货物激荡等关键效应
- 场景覆盖不足:基于 nuPlan 场景(主要覆盖市区/郊区),缺少高速公路、港口、矿区等重卡典型场景
- 只有单车仿真:没有卡车与轿车混行场景,没有多挂车场景
我们需要的平台是:重卡动力学(10+ DOF) + 语言交互接口 + 闭环 VLA 评测协议 + 重卡典型场景库。
4.3 基准评测缺失
即便有人训练了一个重卡 VLA 模型,也没有地方可以评测它。乘用车 VLA 有多个公认基准:
| 基准 | 类型 | 指标 | VLA 适配 | 重卡版本? |
|---|---|---|---|---|
| nuScenes 开环 | 开环 | L2 位移误差、碰撞率 | ❌ 无语言评测 | ❌ |
| NAVSIM | 闭环 | PDMS (NC×DAC×(5EP+5TTC+2C)/12) | ❌ 无语言评测 | ❌ |
| Bench2Drive | 闭环 | Driving Score, Success Rate | ✅ 含指令 | ❌ |
| NeuroNCAP | 闭环 | 安全加权综合评分 | ❌ 无语言评测 | ❌ |
| nuTruck | 闭环(重卡) | L2 误差,侧翻率 | ❌ 无语言评测 | ✅ 但无VLA |
重卡 VLA 需要全新的基准协议 PDMS-Truck,至少包括以下指标维度:
- 开环规划指标:
- 传统指标:L2 位移误差、航向误差
- 安全指标:平均 LTR、最大 LTR、LTR 超限率(>0.6 的时间占比)
- 动力学指标:侧倾角峰值、载荷转移幅度
- 闭环规划指标:
- 整体安全评分(加权 LTR + 碰撞 + 偏离)
- 动力学安全加权 PDMS(将侧翻风险纳入评分)
- 语言遵从度:
- 指令执行成功率
- 推理链质量(与专家推理链的语义相似度)
- 长尾场景专项:
- 极端载荷变化(空载↔满载切换)
- 湿滑/冰雪路面
- 紧急避障 + 侧翻约束
- 港口/矿区等非结构化场景
五、Truck-VLA 架构设计提案
基于以上分析,我提出一个面向重卡的 VLA 架构设计方案——Truck-VLA。它的核心思路是:保留 VLA 的语言推理能力,但替换感知层和动作层以适配重卡物理特性。
5.1 三流感知架构
Truck-VLA 的第一层是多模态感知层,包含三个并行编码流:
视觉流(Vision Stream):处理多视角相机输入(前视长焦+环视广角+侧视),生成 BEV 语义特征和场景 token。与现有 VLA 不同的是,Truck-VLA 的视觉骨干需要考虑:
- 远距特征提取:在 backbone 中保留更高分辨率的浅层特征(而不是下采样到 1/32),使用多尺度特征融合(类似 FPN)保持远距小目标的响应
- 透视校正:由于卡车驾驶室高度导致的透视畸变,需要引入高度先验的 attention 偏置
- 挂车遮挡 mask:预测挂车在自车坐标系中的当前所占区域,在此区域内降低 3D 检测的置信度阈值(因为遮挡区域中的目标更可能是真的)
3D 感知流(3D Perception Stream):处理 LiDAR + 4D 雷达点云,输出 3D 检测、跟踪和 occupancy 预测。重卡版本需要:
- 感知范围扩展:前向 300m+,侧向 50m+,后方 100m+
- 4D 雷达利用:利用 4D 雷达的速度测量能力在远距场景中直接检测运动目标(而不是依赖帧间匹配)
- 挂车体态感知:在 BEV 空间中加入挂车的可变形边界表示,实时更新挂车的位置和朝向
物理状态流(Physical State Stream)——新增:这是 Truck-VLA 区别于所有现有 VLA 模型的关键组件。
物理状态流的输入是一个 $d_{phys}$ 维向量(建议 $d_{phys}=16$),包含:
$$ \mathbf{x}_{phys} = [M, h_{CG}, F_{z1}, \dots, F_{z6}, \alpha_{hitch}, \dot{\alpha}_{hitch}, z_{sus1}, \dots, z_{sus6}, \mu_{est}, T_{brake}]^\top $$其中:
- $M$:当前总重(t)
- $h_{CG}$:估计质心高度(m)
- $F_{z1..6}$:各轴/轮垂直载荷(kN)
- $\alpha_{hitch}$:铰接角(rad)
- $\dot{\alpha}_{hitch}$:铰接角速度(rad/s)
- $z_{sus1..6}$:各悬挂高度(mm)
- $\mu_{est}$:估计路面附着系数
- $T_{brake}$:制动系统温度(°C)
这些连续值首先被归一化到 [-1, 1] 区间,然后通过一个轻量 MLP 映射到 $d_{token}$ 维的物理状态 token 序列,与视觉 token、语言 token 拼接后送入 VLM 骨干。
关键设计决策:物理状态 token 不是简单地拼接到序列末尾,而是按照语义位置插入——例如载荷信息 token 放在"然后"相关的推理段落之前,铰接角 token 放在空间推理相关的位置。这种语义对齐插入策略有助于 VLM 在推理时直接利用物理信息生成正确的文本和动作。
5.2 重卡专用 VLM 推理层
第二层是双系统推理层,分为慢思考和快执行两个回路:
慢思考回路(System 2):基于预训练 VLM(如 InternVL2 8B、Qwen2.5-VL 7B 或 DeepSeek-VL2),接收来自三流感知的 token 序列,采用两阶段生成策略:
感知阶段:先生成场景描述 token,格式为:
推理阶段:基于感知结果生成推理链 token:
指令阶段:输出决策指令 token:
核心创新:与传统 VLA 不同,Truck-VLA 的 VLM 推理层被额外训练来理解物理状态 token。这意味着:
- VLM 不再仅依赖视觉特征推断"车会不会翻",而是直接从载荷传感器读取"当前 LTR=0.72"这一事实
- 训练时使用物理状态感知的 CoT 标注,让 VLM 学会将视觉场景与物理读数关联(例如:“从视觉上看到弯道,从传感器读到 LTR=0.72”)
5.3 重卡专用动作层
第三层是动作层,也采用双系统设计:
快执行回路(System 1):一个轻量化的轨迹生成器,使用 Flow Matching 或 Diffusion 作为生成框架(参考 pi0 的 action expert 设计),接收 VLM 推理结果的 embedding,输出:
$$ \mathbf{a}_t = [\tau_1, \dots, \tau_6, \delta_1, \dots, \delta_6] \in \mathbb{R}^{12} $$轨迹生成过程中内置可微侧翻约束。具体而言,在生成过程中添加约束损失项:
$$ \mathcal{L}_{safety} = \lambda_{LTR} \cdot \max(0, |\widehat{LTR}| - \alpha_{LTR})^2 + \lambda_{jerk} \cdot \|\mathbf{a}_t - \mathbf{a}_{t-1}\|^2 $$其中 $\widehat{LTR}$ 是动作层内部基于简化动力学模型估算的未来 LTR,$\alpha_{LTR}=0.6$ 是安全阈值。这个约束损失在训练和推理时都可以加入:训练时作为 loss 项影响梯度,推理时通过 guided sampling 或 classifier-guidance 方式影响生成轨迹。
世界模型预测器:在动作层中集成一个轻量级前向模型(MLP 或小型 transformer),输入当前状态 $\mathbf{s}_t$ 和候选动作 $\mathbf{a}_t$,预测未来 $n$ 帧的状态序列和侧翻安全指标:
$$ \{\mathbf{s}_{t+1}, \text{LTR}_{t+1}\}, \dots, \{\mathbf{s}_{t+n}, \text{LTR}_{t+n}\} = f_{WM}(\mathbf{s}_t, \mathbf{a}_t; \mathbf{\Theta}_{WM}) $$如果预测到任何 $\text{LTR}_{t+i} > 0.6$,则触发 replan——回到 VLM 推理层重新给出更保守的指令,或者直接否决当前候选轨迹。
5.4 训练策略
Truck-VLA 的训练分为三个阶段:
阶段一:重卡 VLA 预训练(模仿学习)。
使用重卡仿真数据(从 Phase 2 的仿真平台生成),对 VLM 骨干和动作头进行行为克隆预训练。数据格式为:
$$ \mathcal{D}_{BC} = \{(\mathbf{I}_t, \mathbf{P}_t, \mathbf{x}_{phys,t}, \mathbf{l}_t, \mathbf{a}_t^*)\} $$其中 $\mathbf{I}_t$ 是图像序列,$\mathbf{P}_t$ 是点云,$\mathbf{x}_{phys,t}$ 是物理状态,$\mathbf{l}_t$ 是语言指令,$\mathbf{a}_t^*$ 是专家轨迹(由最优控制器或人工驾驶生成)。
预训练损失函数包括三部分:
$$ \mathcal{L}_{pretrain} = \mathcal{L}_{LM}(\text{reasoning}) + \lambda_1 \cdot \mathcal{L}_{BC}(\mathbf{a}, \mathbf{a}^*) + \lambda_2 \cdot \mathcal{L}_{safety} $$阶段二:强化学习微调(GRPO)。
在重卡仿真器中闭环训练。选择 GRPO(Group Relative Policy Optimization)而不是 PPO 的主要原因:GRPO 不需要 critic 网络,更适合 VLM 的 RL 微调(与 AutoVLA/DriveVLA 的训练方式一致)。奖励函数设计为多维加权和:
$$ R = w_{task} \cdot R_{task} + w_{safe} \cdot R_{safe} + w_{comfort} \cdot R_{comfort} + w_{lang} \cdot R_{lang} $$其中:
- $R_{task}$:任务完成奖励(到达目的地 + 时间效率)
- $R_{safe}$:安全奖励(LTR 越低越好,平均 LTR 每降低 0.1 奖励 +0.2;LTR > 0.6 时惩罚 -1.0)
- $R_{comfort}$:舒适奖励(加加速度 $\text{jerk} < 2\text{m/s}^3$ 时奖励 +0.1)
- $R_{lang}$:语言遵从奖励(是否按导航指令行驶,semantic matching score)
阶段三:真实数据对齐。
用真实卡车采集的传感器 + 载荷 + 轨迹数据微调,尤其针对长尾场景(极端载荷变化、湿滑路面等)。此阶段使用低学习率的 LoRA 微调,避免在真实数据上过拟合。
5.5 推理时的安全校验流程
Truck-VLA 的推理流程不是一步到位的,而是包含一个三级校验流水线:
这个三级流水线确保了 Truck-VLA 在任何一步都能通过安全校验,而不是单纯依赖 VLM 的推理质量。
六、重卡世界模型:从视觉预测到物理因果预测
VLA 与**世界模型(World Model)**的结合是当前最前沿的方向(VLA-World、DynVLA、DriveWorld-VLA 等)。对重卡来说,世界模型的意义更加深远——因为重卡的"安全"不仅取决于是否碰撞,还取决于是否侧翻,而侧翻只能在物理因果的层面上被预测。
6.1 现有世界模型的局限
当前的世界模型(GAIA-1、DriveDreamer、Cosmos、VLA-World)预测的是:
- 未来帧图像序列(视觉层面)
- BEV occupancy 演变(布局层面)
- 自车+障碍物轨迹(运动学层面)
它们不预测任何动力学安全指标。对于重卡来说,这意味着世界模型给出的"看起来合理的未来"可能是"物理上会翻车的未来"。一个世界模型可以完美预测"卡车将以 60km/h 通过前方弯道"的视觉效果,但它无法告诉 VLA 这个操作是否会导致侧翻。
这个缺失可以被形式化描述为:现有世界模型是在观察空间做预测,而不是在物理状态空间做预测。对于乘用车,观察空间预测和物理状态空间预测的 gap 较小——因为乘用车的物理行为是近似安全的。但对重卡,这个 gap 可以决定生死。
6.2 重卡世界模型必须预测的物理量
Truck-VLA 的世界模型需要在传统的视觉预测之外,额外增加一组物理安全预测头。世界模型的输入是历史帧的联合特征(视觉+物理状态+动作),输出是多尺度预测:
视觉预测头(与传统世界模型一致):
- 未来 1-3 帧的 BEV occupancy
- 未来障碍物轨迹(检测+预测)
物理安全预测头(新增):
- 侧翻安全时序:$\widehat{\text{LTR}}(t+1), \widehat{\text{LTR}}(t+2), \dots, \widehat{\text{LTR}}(t+n)$ 的完整时序曲线。这个预测不仅要输出均值,还要输出置信区间——因为 LTR 预测的不确定性对安全决策至关重要
- 动态载荷转移量:制动时的前轴增载比 $\Delta F_{z,front}/F_{z,total}$、过弯时的左右载荷差 $\Delta F_{z,LR}$
- 轮胎附着力利用率:各轮 $\mu_{utilization} = \sqrt{F_x^2 + F_y^2} / (\mu \cdot F_z)$ 的时序预测,识别即将打滑的轮子
- CG 高度变化:由于悬挂压缩/伸展导致的瞬时 CG 变化量 $\Delta h_{CG}$
- 铰接角预测:未来 $n$ 帧的 $\hat{\alpha}_{hitch}$ 和 $\hat{\dot{\alpha}}_{hitch}$,用于预测挂车折叠(jackknife)风险
6.3 世界模型的三重作用
在 Truck-VLA 中,世界模型扮演三个角色:
角色一:梦境回放(Dreaming for Contrastive Learning)
用世界模型从一个真实场景出发,通过改变动作输入生成同一场景在"安全"和"不安全"两个分支下的未来预测。具体来说:
- 给定真实场景 $\mathcal{S}_0$,有两个候选动作分支:A = “以 60km/h 过弯” 和 B = “以 40km/h 过弯”
- 世界模型 rollout 得到两个分支的完整未来序列:
- A: LTR 从 0.3 升至 0.8(侧翻风险)
- B: LTR 从 0.3 降至 0.4(安全)
- 这对对比数据被用来训练 VLA 的偏好——在训练时,要求 VLA 的语言推理层输出"应选择 B,因为 A 会导致侧翻"
这个对比学习过程的关键在于:世界模型提供了物理因果关系的训练信号,而不是简单的模仿学习。
角色二:想象 Rollout(Imagination Rollout for RL)
在 GRPO 强化学习训练中,世界模型代替昂贵的重卡动力学仿真器进行策略展开。具体方法是:
- VLA 在当前状态 $\mathbf{s}_t$ 下输出动作 $\mathbf{a}_t$
- 世界模型预测 $\mathbf{s}_{t+1}$ 和 $\text{LTR}_{t+1}$
- 重复 rollout $T$ 步,计算累积奖励 $R = \sum_{i=1}^T \gamma^{i-1} r(\mathbf{s}_{t+i}, \text{LTR}_{t+i})$
关键差异在于:世界模型会预测 LTR,让策略在"想象"中就看到侧翻后果。这比传统世界模型提供的"视觉想象"要安全得多——策略学会的是"避免侧翻",而不是"看起来没撞车"。
角色三:安全约束蒸馏(Safety Distillation)
世界模型经过充分训练后,其中蕴含的动力学安全知识可以被蒸馏到 VLA 的动作头中:
$$ \mathcal{L}_{distill} = \| \mathbf{a}_{VLA}(\mathbf{s}_t) - \mathbf{a}_{WM-safe}(\mathbf{s}_t) \|^2 $$其中 $\mathbf{a}_{WM-safe}$ 是世界模型在 $\mathbf{s}_t$ 下通过 rollout 搜索找到的最优安全动作。蒸馏的效果是:推理时不调用世界模型(节省算力),但动作头仍然具备近似世界模型的安全判断能力。这与 DriveVLA-W0 的"离散特征对齐"思路类似,但是安全层面的对齐。
6.4 世界模型的训练
Truck-VLA 的世界模型训练使用混合损失函数:
$$ \mathcal{L}_{WM} = \lambda_{vis} \cdot \mathcal{L}_{vis} + \lambda_{occ} \cdot \mathcal{L}_{occ} + \lambda_{dyn} \cdot \mathcal{L}_{dyn} $$其中:
- $\mathcal{L}_{vis}$:视觉重建损失(MSE 或 VQ 损失)
- $\mathcal{L}_{occ}$:BEV occupancy 交叉熵损失
- $\mathcal{L}_{dyn}$:物理量预测损失(LTR、轴荷等的 MSE)
训练数据来自重卡仿真平台。关键设计是:仿真数据必须包含不同载荷配置下的轨迹-物理量对,才能让世界模型学会"同样的驾驶操作在不同载荷下的不同后果"。
七、填补空白的路线图
回到开头的问题:重卡 VLA 是一个巨大的研究空白,从哪里开始?我按照难度和依赖关系将路线图分为四个阶段:
Phase 1:构建重卡 VLA 数据集(3-6 个月)
这是整个路线图的基础。没有数据集,一切无从谈起。好消息是:不需要从头采集数据,可以在现有数据集上做后标注(post-annotation)。
具体任务:
- 语言标注:在 MAN TruckScenes 和 TruckDrive 的数据上,为每个场景/帧添加:
- 场景描述:“卡车满载在高速公路上以 80km/h 行驶,前方 200m 处有慢车”
- 危险提示:“前方弯道 R=50m,建议从 60km/h 减速至 35km/h”
- 导航指令:“在 1km 后靠右驶出高速”
- 指令-动作对齐:将语言指令与对应的驾驶动作时间戳对齐
- 物理状态标注:如果原始数据没有记录载荷信息,通过车辆动力学模型反向估计:
- 利用加速度、倾角、悬挂数据的时序信号估计各轴轴荷
- 使用扩展卡尔曼滤波(EKF)联合估计质量和 CG 高度
- 标注 LTR 时序、侧倾角时序(精度不如传感器直接测量,但足够训练 VLA)
- 评估基准标注:为每个场景标注"安全驾驶轨迹"(由人类专家或最优控制器生成),作为后续评测的 ground truth
可行性评估:Phase 1 的技术难度较低(主要是标注工作量),但需要与 MAN/Amazon/Torc 等拥有重卡数据集的机构合作获取原始数据授权。预计需要 3-6 个月完成 10K+ 场景的标注。
Phase 2:建设重卡 VLA 仿真平台(6-12 个月)
这是技术难度最高但最关键的一步。仿真平台是 VLA 模型训练和评测的基础设施,缺少它后续所有工作都无法闭环。
具体构建方案:基于 nuTruck 仿真器进行扩展:
- 动力学提升:将 nuTruck 当前使用的 5-DOF 模型升级到 10+ DOF:
- 增加轮胎松弛动力学(relaxation length)
- 增加悬挂非线性模型(包含限位块、摩擦)
- 增加挂车 sway 动力学
- 增加制动热力学模型(用于预测热衰退)
- 语言接口:
- 语言指令输入 API:
env.set_instruction("在下个出口驶出高速") - 场景描述自动生成:基于场景拓扑自动合成自然语言描述
- 推理链自动评测:与专家推理链的语义相似度
- 语言指令输入 API:
- VLA 评测协议 PDMS-Truck:
- 开环指标:L2 位移误差 + 航向误差 + 平均 LTR + LTR 超限率
- 闭环指标:PDMS-Truck(安全加权 PDMS,侧翻权重占比 30%)
- 语言遵从度:指令执行匹配率
- 世界模型训练数据生成:
- 批量生成不同载荷、路面、场景组合下的轨迹-物理量-视觉数据对
- 生成对抗性场景(紧急避障+满载+湿滑路面等高危险组合)
可行性评估:Phase 2 需要极强的仿真工程能力。推荐的实现路径是 fork nuTruck 的代码仓库(基于 nuPlan),在其上叠加 VLA 接口。预计需要 6-12 个月。
Phase 3:首次重卡 VLA 基线(6 个月)
有了数据(Phase 1)和平台(Phase 2),就可以开始训练了。Phase 3 的目标不是做一个"完美的重卡 VLA",而是建立第一个公开可复现的基线。
具体方案:基于现有的开源 VLA 模型(如 OpenDriveVLA 或 DriveVLA-W0)改造:
- 增加物理状态编码器(1-2 周):
- 在 VLM 输入的 token 序列中插入物理状态 token
- 使用 LoRA 微调 VLM 骨干使其理解这些新 token 的语义
- 更换动作头为 12 维扩散头(1-2 月):
- 基于 pi0 或 DiffusionDrive 的 Flow Matching 动作专家
- 增加可微 LTR 约束损失
- 验证 12 维扩散动作空间在重卡场景上的收敛性
- 在重卡仿真平台上训练和评测(2-3 月):
- 使用 Phase 1 的数据做行为克隆预训练
- 使用 GRPO 在仿真平台上闭环微调
- 在 Phase 2 的 PDMS-Truck 协议上评测
- 消融实验(1-2 月):
- 有物理状态 token vs 无物理状态 token(验证载荷信息对侧翻安全的影响)
- 2D 动作输出 vs 12D 动作输出(验证全轮独立转向的收益)
- 有世界模型安全蒸馏 vs 无蒸馏
核心假设验证:Phase 3 要回答的最重要的问题是——“加上载荷信息是否实质性地改善了重卡 VLA 的侧翻安全性?“如果答案是肯定的,这个方向就值得大规模投入。
Phase 4:闭环验证与实地测试(持续)
在真实重卡上部署 Truck-VLA 模型:
- 硬件在环测试:在真实卡车上运行 VLA 推理,但动作指令经过安全硬保护层(Safety Cage)校验通过后再执行
- 封闭场地测试:在测试场中验证 VLA 在极端载荷、湿滑路面、紧急避障等场景下的表现
- 开放道路测试:在安全员的监督下进行高速公路和港口等重卡典型场景的测试
路线图总览
风险与缓解:
| 风险 | 概率 | 影响 | 缓解措施 |
|---|---|---|---|
| 重卡数据集授权困难 | 高 | 高 | 与 Torc/Aurora 等企业建立合作;自行采集小规模数据 |
| 12D 扩散动作难以收敛 | 中 | 高 | 先用 6D 降维版本验证可行性,逐步扩展到 12D |
| 仿真-真实 gap | 中 | 中 | 提前引入 domain randomization |
| 缺乏评测协议共识 | 中 | 低 | 提出 PDMS-Truck 作为初始提案,接受社区改进 |
八、结语
2024-2026 年的 VLA 热潮重塑了自动驾驶的技术路线,但这场革命绕过了重卡。100+ 篇论文、20+ 开源模型、多个评测基准——全是乘用车的。重卡从 VLA 的发展中没有获得任何直接收益。
重卡 VLA 不仅仅是一个"缺少数据集"的问题——如果只是缺数据,花半年标注就有了。真正的问题在于,重卡的物理特性和安全需求从根本上挑战了现有 VLA 的架构假设:
- 物理感知的扩展:载荷传感器必须成为 VLA 的一等公民。乘用车 VLA 的"图像 + LiDAR + IMU"输入空间对重卡远远不够。轴荷、质心、铰接角这些物理量需要被直接测量并编码进 VLA 的 token 空间。
- 动力学安全的回归:VLA 必须理解侧翻物理,不只要"看起来对”。这要求将 LTR、载荷载移等动力学指标内化到 VLA 的训练目标和推理约束中。
- 铰接结构的建模:牵引车+挂车的双体感知是全新课题。现有 VLA 的刚性车身假设完全不适用于铰接车辆,需要全新的 attention 机制来建模挂车体态。
- 动作空间的升维:12 维独立轮控 vs 2 维传统控制。现有 VLA 的动作头无法处理 DET 的高维动作空间,而简单的降维映射会丢失全轮独立转向的核心价值。
- 高保真仿真平台:现有平台全不支持重卡 VLA。CARLA、MetaDrive、NAVSIM 都缺重卡动力学;TruckSim 和 nuTruck 仿真器缺语言接口和 VLA 评测协议。
- 多维度世界模型:重卡的世界模型不仅需要预测视觉未来,还需要预测物理安全未来——这是现有世界模型从未涉及的研究方向。
这些问题每一个都值得一篇独立的论文。从"在 MAN TruckScenes 上标注推理链"到"12D 扩散动作空间的收敛性分析"到"重卡动力学约束的 VLA 奖励设计”——每个子问题都是可以独立发表的完整工作。
对研究者的建议
如果你对这个方向感兴趣,以下是我认为最有价值的切入点:
- 短期(3-6 月):
- 在现有重卡数据集上标注 VLA 格式的指令-动作对(发表 VLA 标注基准论文)
- 评估现有 VLA 模型在重卡数据上的迁移性能(发表迁移分析论文)
- 中期(6-12 月):
- 扩展 nuTruck 仿真器为 VLA 训练平台(发表仿真平台+评测协议论文)
- 训练第一个重卡 VLA 基线模型(发表 VLA-Truck 基线论文)
- 长期(12-24 月):
- 重卡世界模型(物理安全预测头 + 安全蒸馏)
- 铰接结构感知的 VLA attention 机制
对产业界的建议
- Aurora/Torc/Kodiak:你们的真实重卡数据和工程经验是学术界最缺乏的资源。考虑开源部分感知数据和载荷数据,或设立重卡 VLA 研究挑战赛。
- 仿真平台公司:重卡动力学 + 语言接口是仿真器的重要差异化功能。TruckSim、CARLA 等应考虑增加重卡 VLA 支持。
- VLA 开源社区:重卡不是"小众领域"。全球卡车运输业每年产值 7000 亿美元,L4 重卡的落地需求迫在眉睫。VLA 社区应该关注这个方向。
这些问题每一个都值得一篇独立的论文。而现在,它们全都等着被解决。
参考文献
- nuTruck: Benchmarking Autonomous Driving Planning for Distributed Electric-drive Trucks - arXiv:2607.13704, 2026
- Vision-Language-Action Models for Autonomous Driving: Past, Present, and Future - arXiv:2512.16760, 2025
- MAN TruckScenes: A multimodal dataset for autonomous trucking in diverse conditions - NeurIPS, 2024
- TruckDrive: Long-Range Autonomous Highway Driving Dataset - CVPR, 2026
- TruckV2X: A Truck-Centered Perception Dataset - arXiv, 2025
- AutoVLA: A Vision-Language-Action Model with Adaptive Reasoning and Reinforcement Fine-Tuning - arXiv:2506.13757, 2025
- OpenDriveVLA: Towards End-to-end Autonomous Driving with Large Vision Language Action Model - arXiv:2503.23463, 2025
- CoVLA: Comprehensive Vision-Language-Action Dataset for Autonomous Driving - WACV, 2025
- Anti-rollover Artificial Potential Field Motion Planning of an Autonomous Heavy Truck Optimised by Game Theory - CJME, 2024
- Rollover Prevention and Motion Planning for an Intelligent Heavy Truck - CJME, 2021
- DriveVLM: The Convergence of Autonomous Driving and Large Vision-Language Models - arXiv:2402.12289, 2024
- DiffusionDrive: Truncated Diffusion Model for End-to-End Autonomous Driving - arXiv:2410.02526, 2024
- pi0: A Vision-Language-Action Flow Model for General Robot Control - arXiv, 2025
- DriveVLA-W0: A World Model Guided VLA for Autonomous Driving - arXiv, 2026
- Longitudinal Safety Distance Control Considering Cargo Load for Heavy Trucks - ICVES, 2025
- GRPO: Group Relative Policy Optimization for Reasoning in Large Language Models - DeepSeek, 2025
- Flow Matching for Generative Modeling - ICLR, 2023
- Impromptu VLA: A Vision-Language-Action Dataset for Autonomous Driving - NeurIPS, 2025
- nuReasoning: A Reasoning-Enhanced Dataset for Autonomous Driving - arXiv, 2026
- GAIA-1: A Generative World Model for Autonomous Driving - arXiv, 2023