📄 论文信息

  • 标题：AlphaDrive: Unleashing the Power of VLMs in Autonomous Driving via Reinforcement Learning and Reasoning
  • 团队：华中科技大学（hustvl，王兴刚团队）× 地平线机器人（Horizon Robotics）
  • arXiv：2503.07608（2025 年 3 月）
  • 代码：github.com/hustvl/AlphaDrive
  • 关键词：GRPO、推理强化学习、高层规划、VLM、奖励设计
  • 一句话总结：首个把 GRPO 推理式强化学习引入自动驾驶规划的工作，靠四个"为规划量身定做"的奖励 + SFT 预热两阶段策略，让 Qwen2VL-2B 反超 7B 模型，并涌现出"一景多解"的多模态规划能力。

🤔 要解决什么问题？SFT 撑不起驾驶推理

OpenAI o1 与 DeepSeek R1 证明了 RL + 推理在数学、代码上能逼近甚至超越人类专家。自动驾驶也有类似诱惑：端到端模型规划很强，却缺常识、缺推理，遇到长尾就翻车。比如"前车顶着一排锥桶行驶"——纯端到端模型看不懂"前车与锥桶的关系"，会误判前方施工而急刹。

把 VLM 引入驾驶（DriveVLM、Senna 等）是出路，但它们几乎清一色只用 SFT 监督微调。作者敏锐地指出三个"直接搬 RL 不灵"的根因：

障碍数学/代码场景驾驶规划场景
奖励设计答案对错分明不同动作重要性不同（刹车 vs. 保持）
解的唯一性通常唯一解多解并存（直路可匀速可加速）
推理数据教材/题解丰富几乎没有，标注极贵

核心问题：如何让 R1 式的推理 RL 真正在驾驶规划上落地？AlphaDrive 的答案是——重新设计奖励 + 用大模型蒸馏推理过程做 SFT 预热。

🏗️ 架构总览：GRPO + VLM 训练框架

AlphaDrive 整体训练框架

AlphaDrive 的核心训练框架如上图所示。它基于 Qwen2VL-2B 视觉语言模型，输入前视图像 + 自车速度 + 导航文本，输出带 <think> 推理链和 <answer> 规划结果的格式化文本。整个训练分两阶段：

阶段方法数据量作用
SFT 预热GPT-4o 蒸馏推理数据做监督微调30k注入推理能力，缓解 RL 冷启动幻觉
RL 探索GRPO + 四项规划奖励110k探索最优规划策略，涌现多模态

GRPO 组内相对优化

$$\mathcal{J}_{\text{GRPO}}(\theta)=\mathbb{E}\left[\frac{1}{G}\sum_{i=1}^{G}\min\big(w_i A_i,\,\text{clip}(w_i,1-\epsilon,1+\epsilon)A_i\big)-\beta\,\mathbb{D}_{KL}(\pi_\theta\|\pi_{\text{ref}})\right]$$

其中 $w_i=\pi_\theta(o_i\mid q)/\pi_{\theta_{\text{old}}}(o_i\mid q)$，$A_i = (r_i - \text{mean}(r_1..r_G)) / \text{std}(r_1..r_G)$ 为组内相对优势。

💡 核心思想：规划是高层动作分类，不是轨迹回归

把规划语言化

AlphaDrive 不让 VLM 直接吐轨迹点（VLM 在语言空间里不擅长精确数值）。它做的是高层元动作规划：输入前视图像 + 提示词（当前车速 + 高德导航文本"直行 100 米后右转"），输出自然语言决策。

维度动作集合
横向 path直行 / 左转 / 右转 / 保持
纵向 speed保持 / 加速 / 减速 / 停车

这把规划变成一个横向+纵向的双分类问题，天然适合语言模型和 RL 奖励设计。

为什么是 GRPO 而不是 PPO/DPO

作者对比三大 RL 算法后选了 GRPO（Group Relative Policy Optimization），两个理由：

  1. DeepSeek R1 已证明 GRPO 训练更稳、更高效；
  2. GRPO 的"组内相对优化"天然契合多解规划——对一个 query 采样一组 ${o_1,\dots,o_G}$，用组内归一化奖励作为优势 $A_i$，多解之间的相对优劣正好是规划需要的信号。
$$\mathcal{J}_{\text{GRPO}}(\theta)=\mathbb{E}\left[\frac{1}{G}\sum_{i=1}^{G}\min\big(w_i A_i,\,\text{clip}(w_i,1-\epsilon,1+\epsilon)A_i\big)-\beta\,\mathbb{D}_{KL}(\pi_\theta\|\pi_{\text{ref}})\right]$$

其中 $w_i=\pi_\theta(o_i\mid q)/\pi_{\theta_{\text{old}}}(o_i\mid q)$。这个"组内相对"的设定，也是后文多模态规划涌现的伏笔。

GRPO 相对 PPO/DPO 的实际优势

值得对比一下三大算法在规划上的表现差异：PPO 需要训练一个独立的 value 网络估计基线，在小模型上 value 不准会导致方差爆炸；DPO 依赖成对偏好数据，而驾驶里"哪个动作更好"很难离线标注成对样本；GRPO 用组内均值当基线，省掉 value 网络，又天然利用了"同一场景多解"的结构。作者实验里 GRPO 训练曲线最稳、收敛最快，这印证了"组内相对"对多解任务的适配性——规划的答案不唯一，所以"谁比谁好"比"谁对谁错"更重要。

🎯 灵魂设计：四个面向规划的 GRPO 奖励

这是全文最有工程价值的部分。直接用"答对给 1 分"的通用奖励在规划上会崩——AlphaDrive 设计了四个互锁的奖励。

1. 规划准确率奖励（Planning Accuracy）

用 F1-Score 分别评估横向、纵向决策。为什么不用精确匹配？作者踩过的坑很真实：

  • 精确匹配：早期模型格式不稳（大小写、多余输出），训练剧烈震荡；
  • 包含匹配（提取所有词看是否含答案）：模型学会捷径——把所有动作都输出，召回率高精度低，mode collapse；
  • F1-Score：兼顾精度与召回，杜绝"全输出"捷径，训练稳定。

2. 动作加权奖励（Action-Weighted）

不同动作对安全的重要性不同：减速、停车、转向比"保持"关键得多。给各动作赋不同权重，作为准确率奖励的乘子，让模型在关键决策上更使劲。

3. 规划多样性奖励（Planning Diversity）

这是最巧妙的一笔。RL 后期模型输出会坍缩成同一个答案。AlphaDrive 反向激励：当组内输出更多样时给更高奖励，重复则扣分（最多扣 20%）：

$$\text{diversity}=1-\min\big(0.2,\ \text{该答案在组内的占比}\big)$$

这条奖励直接催生了后文"多模态规划涌现“的奇观。

4. 规划格式奖励（Planning Format）

学 R1，用 <think></think> 包推理、<answer></answer> 包结果。格式不符则格式奖励为 0，逼模型输出结构化。

奖励合成

类型合成方式
质量奖励（speed / path 各算）$R_{\text{quality}} = \text{Acc}_{\text{F1}} \times \text{Weighted} \times \text{Diversity}$
总奖励$R_{\text{total}} = R_{\text{quality}} + R_{\text{format}}$

四者乘法耦合而非简单相加，确保模型必须"既准、又重要、又多样、又规范”。

奖励设计形式化

四项奖励的形式化定义如下：

$$\text{Accuracy: } R_{\text{acc}} = \text{F1}(\hat{a}, a_{\text{gt}})$$$$\text{Weighted: } R_{\text{weighted}} = \sum_{k} w_k \cdot \mathbb{1}[\hat{a}_k = a_{\text{gt},k}],\quad w_{\text{减速/转向}} > w_{\text{保持}}$$$$\text{Diversity: } R_{\text{div}} = 1 - \min\big(0.2,\; \text{该答案在组内占比}\big)$$$$\text{Format: } R_{\text{fmt}} = \begin{cases} 1 & \text{含 }\texttt{}\text{ 和 }\texttt{}\\ 0 & \text{otherwise} \end{cases}$$

与其他 RL 算法的对比

维度PPODPOGRPO（AlphaDrive 选用）
价值网络需要 critic不需要不需要
数据需求单条 rollout成对偏好数据组内采样（G 条）
多解适配差（单值 critic 混淆）需全排序天然适配（组内相对）
训练稳定性critic 偏差敏感偏好噪声敏感最稳
规划适用性低（动作不等权）低（无多样性机制）高（四项定制奖励）

🧠 推理从哪来：大模型蒸馏 + SFT 预热

推理数据不够？借 GPT-4o 造

驾驶没有现成推理语料。作者用 GPT-4o 对一小批驾驶片段（给真实动作 + 车辆状态 + 导航）生成简洁决策推理过程，人工过滤后得到高质量 reasoning 数据。直接把推理塞进 RL 训练效果差（感知不全、因果乱、啰嗦），蒸馏小模型才是正解。

两阶段：SFT Warm-up + RL Exploration

阶段数据目标
阶段 1：SFT 预热30k GPT-4o 蒸馏推理数据蒸馏推理能力、缓解 RL 早期幻觉
阶段 2：RL 探索110k 全量 MetaADGRPO 探索最优规划策略

为什么必须 SFT 预热？RL 依赖稀疏奖励，小模型（2B）感知推理能力弱，冷启动 RL 会剧烈震荡、幻觉横飞。先用 SFT 把 reasoning 能力蒸馏进来当 warm-up，再让 RL 去探索——SFT 教"怎么想"，RL 教"怎么选最优"。

🧪 实验与结果

主结果：2B 反超 7B

在 MetaAD（120k 片段，110k 训 / 10k 验）上，基座 Qwen2VL-2B：

模型规划准确率
Qwen2VL-7B（SFT）61.44%
AlphaDrive（2B）77.12%（+25.52%）

转向、加减速等关键决策提升尤为显著，推理质量（BLEU-4/CIDEr/METEOR）也全面领先。

数据效率：20k 样本反超全量 SFT

训练数据SFTRLSFT+RL
20k41.12%45.46%55.64%
50k53.02%59.33%70.83%
110k65.40%72.41%77.12%

仅用 20k（约 20%）样本，AlphaDrive 就比全量 SFT 高 35.31%。RL 对数据效率的撬动作用极其明显——这正是 R1 路线最诱人的红利。

AlphaDrive 实验结果

消融：四个奖励缺一不可

逐项加入奖励，准确率从 42.36%（基础匹配）→ 55.71%（+格式）→ 67.91%（+准确率F1）→ 72.20%（+加权）→ 77.12%（+多样性）。F1-Score 防捷径、加权提升关键动作、多样性催生多模态，环环相扣。

涌现现象：多模态规划能力

RL 训练后，AlphaDrive 在复杂场景下能自发给出多个合理解，而 SFT 模型只能给一个。作者把这归因于 GRPO 的组内相对优化 + 多样性奖励。这对安全意义巨大——下游动作模型可从多个候选里动态选优，把"单选规划"升级成"多选规划"。

这和扩散式多模态有何不同

有人会问：Diffusion Planner、DiffusionDrive 用扩散模型也能生成多模态轨迹，AlphaDrive 这种"语言模型涌现多模态"有什么新意？区别在于层次：扩散是在底层轨迹空间做多模态（同一意图下不同几何走法），而 AlphaDrive 是在高层元动作空间做多模态（“减速跟车"和"变道绕行"两个截然不同的策略都能给出来）。前者是"怎么走"的多样性，后者是"做什么"的多样性。理想系统需要两者叠加——高层多策略决策（AlphaDrive）+ 底层多轨迹生成（Diffusion Planner），这才是完整的多模态规划栈。

⚠️ 局限与未来方向

  • 动作粒度粗：目前只输出元动作，变道、贴边挤让等复杂行为还做不了，受限于标注丰富度；
  • 推理数据是伪标签：基于真值动作回放生成，感知可能不准、关键因素可能漏；
  • 开环评测：高层动作需配合下游动作模型才能闭环验证真实驾驶表现。

后续方向我看好：把元动作接到 Diffusion Planner / Flow Matching 轨迹头做闭环、用环境反馈奖励（碰撞、舒适）替代部分规则奖励、把多模态候选接入best-of-N 打分实现推理时 scaling。

📝 个人思考

AlphaDrive 最让我兴奋的不是某个奖励公式，而是它第一次把 R1 范式真正"接地气"到了驾驶。过去一年所有人都在喊"把 o1/R1 用到垂直领域”，但真正做出来会发现通用 RL 配方根本不work——数学题答对就是答对，驾驶规划却有"多解、不等权、无推理语料"三重障碍。AlphaDrive 的价值在于它示范了怎么针对领域特性重新设计奖励：F1 防捷径、加权对齐安全、多样性催生多模态，每一条都是踩过坑后的工程结晶。这种"通用方法 + 领域化奖励"的范式，对所有想把 RL 用到非标准任务的人都是教科书。

第二点启发在**“数据效率被 RL 重新定义”。20k 样本反超 110k SFT，这个结果对工业界是地震级的。它意味着高质量驾驶数据的获取瓶颈，可能被 RL 部分绕过**——只要有一个能自动判分的奖励函数，模型就能从相对比较中自我进化，而不必死磕人工标注的规模。这与 DriveVLA-W0 用世界模型"撬起"缩放律是同一种智慧：当直接监督信号稀缺或稀疏时，换一种更密的信号源（RL 相对奖励 / 世界模型稠密预测）比堆数据更划算。两条路线本质相通。

最后，“多模态规划涌现”这点深远。我们一直以为多模态轨迹要靠扩散模型这种生成式架构才能得到，但 AlphaDrive 证明——在 GRPO 的组内相对优化 + 多样性奖励下，连自回归语言模型都能自发产生多解。这暗示"多模态"可能不是某种架构的专利，而是合适的训练目标的产物。结合 Diffusion Planner 的联合生成、Flow-GRPO 的轨迹对齐，我倾向于认为，“推理式高层决策（AlphaDrive）+ 扩散式底层轨迹（Diffusion Planner）“的双层架构，会是从"可解释"到"可执行"的最短路径。GRPO 给了驾驶大模型"会思考"的能力，这才是它真正的历史位置。

🔗 延伸阅读

工作关系
DeepSeek R1 / GRPO本篇方法母体，组内相对优化
DriveVLM / SennaVLM 高层规划先驱，本篇的训练对象升级
Diffusion Planner本系列第 15 篇，底层轨迹生成，与 AlphaDrive 高层决策互补
DriveVLM-RL本系列第 14 篇，神经科学双通路 RL，另一条安全 RL 路线
OpenAI o1推理时 scaling 思想来源

📖 这是论文精读系列的第 16 篇。当驾驶大模型学会"想清楚再开”，RL 会成为自动驾驶的"最后一公里"吗？欢迎留言讨论。