📄 论文信息

  • 标题：AutoDrive-P³: Unified Chain of Perception–Prediction–Planning Thought via Reinforcement Fine-Tuning（通过强化微调实现感知-预测-规划链式思维的统一框架）
  • 团队：Yuqi Ye、Zijian Zhang、Junhong Lin、Shangkun Sun、Changhao Peng、Wei Gao（北京大学电子与计算机工程学院）
  • 出处：ICLR 2026（arXiv: 2603.28116，2026 年 3 月 30 日）
  • 代码：https://github.com/haha-yuki-haha/AutoDrive-P3
  • 一句话总结：用 P³-CoT 数据集为 VLM 构建结构化的"感知→预测→规划"推理链，再用 P³-GRPO 算法把强化奖励从规划反传到感知和预测模块，实现三阶段分层次、递进式联合优化——在 NAVSIMv2 上以纯视觉方案达到 89.9 EPDMS，nuScenes 上碰撞率降低约 40%。

🏗️ 架构总览

AutoDrive-P³ 与现有范式的对比：从无 CoT 直接规划、碎片化 P-P-P 到统一链式思维

Figure 1: AutoDrive-P³ 与其他范式的核心差异。 (a) 传统端到端小模型直接输出规划；(b) VLM 直接输出轨迹无 CoT；(c) VLM 能回答感知/预测/规划但彼此割裂；(d) AutoDrive-P³ 通过结构化 P³-CoT 推理链实现三阶段协同。

AutoDrive-P³ 的核心理念是：真正的驾驶推理应该是一个连续的认知链——先看清环境（感知），再预判动向（预测），最后做出决策（规划），三个环节环环相扣、缺一不可。当前 VLM 驾驶方案要么跳过前两步直接输出路径，要么把三者当作独立任务各自处理，丢失了关键的阶段间协同。

🤔 要解决什么问题？

当前 VLM 驾驶方案的三大缺陷

缺陷 1：缺少 CoT 推理链。 部分 VLM 方案（如 DriveVLA）直接从图像映射到轨迹，跳过了感知和预测这两个关键中间环节。这导致模型面临严重的领域漂移——训练时看到的是感知标签和地图信息，推理时却只给原始图像，决策质量大打折扣。

缺陷 2：多任务碎片化。 另一类 VLM（如 OmniDrive、DriveLM）虽然能分别回答感知、预测、规划三类问题，但每个模块的输出独立产生、互不依赖。感知不知道自己的输出要服务于预测，预测不考虑最终规划的需求，规划也无法反向要求感知和预测提供更精准的信息。这种各自为政的模式严重制约了规划的真实水平。

缺陷 3：规划-only 的 GRPO 监督。 现有的 GRPO 应用（AutoVLA、AutoDrive-R²）只对规划阶段的指标（L2 距离、闭环得分）设置奖励，感知和预测模块没有直接监督信号。结果感知和预测的能力提升不成体系，规划获益有限，模型整体的可解释性和可靠性打折扣。

核心命题

驾驶本质上是一个递进式推理过程：准确感知是可靠预测的前提，可靠预测是稳健规划的基础。三者必须在一个统一框架下协同优化，而不是各自独立训练再简单拼接。

💡 核心思想：统一链式思维 + 分层渐进强化

AutoDrive-P³ 的整体设计分为两大组件：

组件一：P³-CoT 数据集

P³-CoT 数据集的构建流程

Figure 3: P³-CoT 数据集构建流程。 先从原始驾驶数据中采样，为关键目标标注感知边界框、预测未来轨迹和规划轨迹，再利用 Qwen2.5-VL-72B 生成连贯的三阶段链式思维文本。

P³-CoT 是一个专门为 VLM GRPO 后训练设计的高质量推理数据集。构建流程如下：

  1. 关键目标筛选：在每个关键帧中，筛选出对驾驶决策有实质影响的物体（车辆、行人、自行车等），标注其边界框作为感知标签。
  2. 预测标签生成：通过投影关键目标的未来轨迹，生成预测标签（目标在未来几秒内的位置和动作）。
  3. 规划标签生成：从自车的规划轨迹中提取规划标签。
  4. CoT 合成：基于以上三阶段标签，使用 Qwen2.5-VL-72B 生成连贯的链式思维文本，通过人工验证确保逻辑正确性。

数据集覆盖 nuScenes 和 NAVSIM 两个主流基准，包含丰富的场景分布和驾驶命令标注。

组件二：P³-GRPO 算法

P³-GRPO 算法管道

Figure 4: P³-GRPO 算法管道。 先通过 SFT 冷启动让 VLM 获得驾驶知识和 CoT 输出格式，再用分层 GRPO 对感知、预测、规划三个模块进行渐进式强化微调。

三阶段奖励设计

P³-GRPO 的核心创新在于奖励函数的设计。不同于以往只对规划设置奖励的做法，它为每个阶段定义了专门的奖励分量：

奖励分量符号计算方式作用
格式奖励$R_{\text{format}}$检查输出是否遵循 P³-CoT 格式确保结构化输出
感知奖励$R_{\text{perc}}$预测边界框与 GT 的 IoU × (0.5P + 0.5R)提升目标检测精度
预测奖励$R_{\text{pred}}$预测轨迹与 GT 的 L2 距离的负指数提升轨迹预测准确度
规划奖励$R_{\text{plan}}$L2 位移 / PDMS / EPDMS（依基准而定）优化最终规划质量

总奖励为加权和：

$$R_{\text{total}} = \lambda_{\text{format}} R_{\text{format}} + \lambda_{\text{perc}} R_{\text{perc}} + \lambda_{\text{pred}} R_{\text{pred}} + \lambda_{\text{plan}} R_{\text{plan}}$$

其中权重比例设为 1 : 2 : 2 : 5，体现了规划为主、感知预测为辅的渐进式监督策略。

P³-GRPO 算法伪代码

Algorithm 1: P³-GRPO。 算法在每个 step 中采样 8 个 P³-CoT 响应，分别计算四个奖励分量，然后通过 GRPO 更新策略。

双重思维模式

为平衡推理效率与性能，论文设计了两种推理模式：

  • 详细思维（Detailed）：完整输出感知→预测→规划的三阶段推理过程，含详细解释。
  • 快速思维（Fast）：遵循 P³-CoT 结构但只输出每个阶段的最终答案，省去推理中间步骤。

两种模式的推理时间对比见下图：

双重思维模式与推理时间

Figure 5: 双重思维模式与 nuScenes 上的推理时间。 Fast 模式在保持竞争力的同时显著降低推理延迟。

🔬 实验设置

模型与训练配置

  • 基座模型：Qwen2.5-VL-3B
  • 优化器：AdamW
  • 硬件：8× A100 GPU
  • 采样策略：每个场景生成 8 个 P³-CoT 样本用于 GRPO
  • 视觉输入：nuScenes 用单目前视 448×252（6 帧/3 秒）；NAVSIM 用前+前左+前右三视角拼接 672×168（4 帧/2 秒）
  • 自车状态：nuScenes 仅用速度；NAVSIM 用纵横向速度+加速度

基准与指标

基准类型核心指标评估方式
nuScenes开环L2 位移(m) ↓、碰撞率(%) ↓固定数据集回放
NAVSIMv1闭环PDMS = NC × DAC × (5EP+5TTC+2Comf)/12 ↑非反应式仿真
NAVSIMv2闭环EPDMS = NC × DAC × DDC × TLC × (5EP+5TTC+2LK+2HC+2EC)/16 ↑伪仿真评测

📊 主要实验结果

nuScenes 开环规划

nuScenes 基准性能对比

Table 1: nuScenes 基准对比。 AutoDrive-P³（Detailed）在碰撞率上达到 0.06% Avg，比 UniAD（0.12%）降低 50%，比 VAD（0.14%）降低约 57%。L2 位移与 SOTA 持平（Avg 0.33m）。

在 nuScenes 开环评测中，AutoDrive-P³ 以 仅单目视觉 + 自车速度 的极简输入配置，在碰撞率指标上大幅超越所有对比方法。Detailed 模式的 Avg 碰撞率为 0.06%，Fast 模式为 0.08%，均显著低于 SparseDrive（0.10%）和 VAD（0.14%）。L2 位移方面与最强基线持平。

NAVSIMv1 基准对比

Table 2: NAVSIMv1 基准对比。 AutoDrive-P³（Detailed）PDMS 达 90.6，在纯视觉方法中排名第一，超越 DiffusionDrive（88.1）和 WoTE（88.3）。

在 NAVSIMv1 上，AutoDrive-P³ 以纯视觉配置（无激光雷达）达到 90.6 PDMS，是该设定下的 SOTA。特别值得注意的是，它在 NC（99.1）、EP（84.8）、Comf（100.0）三个维度表现突出，说明模型在不牺牲舒适性的前提下实现了高安全性和高任务完成率。

NAVSIMv2 基准对比

Table 3: NAVSIMv2 基准对比。 AutoDrive-P³（Detailed）在 perception=True 下 EPDMS 达 89.9，在 perception=False 下达 86.2，均全面领先所有对比方法。

NAVSIMv2 是最新的闭环评测基准，EPDMS 指标覆盖 NC、DAC、DDC、TLC、EP、TTC、LK、HC、EC 共 9 个维度的综合评分。AutoDrive-P³ 在 perception=True 设置下达到 89.9 EPDMS，大幅领先 DiffusionDrive（84.7/88.2）和 HydraMDP++（81.4/-）。在更难的 perception=False 设置下仍以 86.2 保持领先。

NAVSIMv2 EPDMS 详细对比（perception=True/False）

Table 3（续）：EPDMS 在 perception=True 和 False 两档下的详细结果。

🔬 消融实验

框架消融：P³-GRPO vs 仅规划 GRPO

框架消融实验

Table 4: nuScenes 上的框架消融。 P³-GRPO 在感知（0.64）、预测（0.54）和规划（Avg 碰撞 0.06%）三项指标上全面优于 Only SFT（0.33/0.23/0.17）和 Only Planning GRPO（–/–/0.12）。

方法感知 ↑预测 ↑碰撞 1s ↓碰撞 2s ↓碰撞 3s ↓碰撞 Avg ↓
UniAD0.320.310.040.080.230.12
OmniDrive0.37–0.010.040.270.11
Ours (Only SFT)0.330.230.010.080.400.17
Ours (SFT + Only Planning GRPO)––0.030.080.240.12
Ours (SFT + P³-GRPO)0.640.540.000.020.150.06

消融结论明确：

  • SFT 后不加 GRPO：碰撞率 Avg 0.17%，感知和预测能力有限；
  • SFT + 仅规划 GRPO：规划略有改善（0.12%），但感知和预测无直接监督（标记为 –）；
  • SFT + P³-GRPO：感知提升近一倍（0.33→0.64），预测大幅提升（0.23→0.54），碰撞率降至最低（0.06%）。

这说明为感知和预测提供直接奖励信号不仅提升了它们自身的能力，还通过更精准的中间表征反哺了规划质量。

配置消融：Group Size / 历史轨迹 / 传感器

配置消融实验

Table 5: nuScenes 上不同训练配置的消融。 group size 8 > 4，历史轨迹有 > 无，视频 > 图像。

配置Group历史轨迹传感器L2 Avg ↓碰撞 Avg ↓
Ablation 14✔视频0.350.07
Ablation 28✗视频0.350.06
Ablation 38✔图像0.360.09
Full8✔视频0.330.06

实验发现：扩大 group size（4→8）能提升采样多样性；引入历史轨迹增强上下文理解；视频传感器优于图像，因其捕获了时间动态信息。

KL 散度消融

KL 散度消融

Figure 10: KL 散度消融实验。 去掉 KL 正则化项后，模型性能随训练急剧退化（蓝色曲线），最终模型崩塌；保留 KL 项（红色曲线）则稳定收敛。

奖励可视化

训练与测试奖励曲线

Figure 9: 感知、预测、规划和总奖励在训练和测试集上的变化。 三个模块的奖励同步提升，验证了 P³-CoT 和 P³-GRPO 带来的协同优化效应。

🎯 可视化分析

实景案例

可视化案例 1：行人场景

Figure 6(a): 行人通行场景。 AutoDrive-P³ 准确感知到行人位置，预测安全通过时机，生成了比对比方法更高效（不过度保守）的轨迹。

可视化案例 2：复杂车辆交互

Figure 6(b): 多车交互场景。 模型识别关键车辆及其行为意图，生成符合人类驾驶习惯的合规轨迹。

更多定性对比

论文附录还提供了 6 组详细的问答可视化案例，涵盖 nuScenes 和 NAVSIM 两个基准：

nuScenes 案例 1：夜间场景 - 识别前方等待车辆并选择最优轨迹

Figure 12 & 13: nuScenes 完整问答案例。 模型能正确识别关键目标、预测其动作，并基于此做出高效规划决策。

NAVSIM 案例：卡车跟随 - 预测卡车行为并以安全距离跟随

Figure 14–17: NAVSIM 案例。 包括卡车跟随、左车变道避让、非法区域规避、转向指令正确执行等典型场景。

📐 核心数学公式

GRPO 基础目标

标准的 GRPO 优化目标（不含 KL 时）：

$$\mathcal{J}_{\text{GRPO}}(\theta) = \mathbb{E}_{q \sim P(Q), \{o_i\}_{i=1}^G \sim \pi_{\theta_{\text{old}}}(O|q)} \left[ \frac{1}{G} \sum_{i=1}^G \min\left( \frac{\pi_\theta(o_i|q)}{\pi_{\theta_{\text{old}}}(o_i|q)} A_i, \operatorname{clip}\left(\frac{\pi_\theta(o_i|q)}{\pi_{\theta_{\text{old}}}(o_i|q)}, 1-\epsilon, 1+\epsilon\right) A_i \right) \right]$$

其中 $A_i$ 是组内相对优势：

$$A_i = \frac{R_i - \mu_R}{\sigma_R}$$

感知奖励

$$R_{\text{perc}} = \begin{cases} 1.0, & |\mathcal{B}_{\text{gt}}| = 0 \;\text{and}\; |\mathcal{B}_{\text{pred}}| = 0 \\ \text{IoU}_{\text{avg}} \cdot (0.5P + 0.5R), & |\mathcal{B}_{\text{gt}}| > 0 \;\text{and}\; |\mathcal{B}_{\text{pred}}| > 0 \\ 0.0, & \text{otherwise} \end{cases}$$

预测奖励

$$R_{\text{pred}} = \begin{cases} 1.0, & |\mathcal{T}_{\text{gt}}| = 0 \;\text{and}\; |\mathcal{T}_{\text{pred}}| = 0 \\ \exp\left(- \alpha \cdot \text{L2}(\mathcal{T}_{\text{pred}}, \mathcal{T}_{\text{gt}})\right), & \text{otherwise} \end{cases}$$

规划奖励（NAVSIM）

$$R_{\text{plan}} = \text{PDMS} = \text{NC} \times \text{DAC} \times \left( \frac{5 \times \text{EP} + 5 \times \text{TTC} + 2 \times \text{Comf}}{12} \right)$$

EPDMS（NAVSIMv2）

$$\text{EPDMS} = \text{NC} \times \text{DAC} \times \text{DDC} \times \text{TLC} \times \left( \frac{5 \times \text{EP} + 5 \times \text{TTC} + 2 \times \text{LK} + 2 \times \text{HC} + 2 \times \text{EC}}{16} \right)$$

⚔️ 在端到端驾驶方案谱系中的位置

代际代表工作感知预测规划多任务协同CoT 推理RL 优化
端到端小模型UniAD、VAD✔✔✔✔✗✗
VLM 直接规划DriveVLA✗✗✔✗✗✔(规划仅)
VLM 碎片化问答OmniDrive、DriveLM✔✔✔✗❓(碎片化)✗
VLM + 规划 RLAutoVLA、AlphaDrive✗✗✔✗❓✔(规划仅)
AutoDrive-P³本文✔✔✔✔✔(结构化)✔(三模块)

AutoDrive-P³ 是第一个同时做到三件事的端到端驾驶方案：① 结构化 CoT 推理链覆盖 P-P-P；② 三模块间显式协同（感知输出作为预测输入、预测输出作为规划输入）；③ 三模块联合 GRPO 强化。

⚠️ 局限性与讨论

  • 计算成本：P³-GRPO 需要为每个场景生成 8 个 P³-CoT 样本，训练开销高于仅规划 GRPO。不过推理阶段可以通过 Fast 模式显著降低延迟。
  • 基座模型规模：当前实验基于 Qwen2.5-VL-3B，更大规模的基座模型（如 7B/72B）是否能带来更显著的协同增益尚待验证。
  • 感知 ground truth 依赖：P³-GRPO 的感知和预测奖励需要 GT 标注，在无标注数据上的适应能力有限。论文未探索无监督或半监督场景。
  • 闭环仿真器局限：NAVSIM 的仿真环境虽然比开环更真实，但仍是非反应式仿真（non-reactive simulation），与真实世界的交互动态有差距。

📝 个人思考

AutoDrive-P³ 打动我的第一点是它重新定义了 GRPO 在自动驾驶中的角色。之前的 AutoVLA、AlphaDrive 虽然也用 GRPO，但它们把奖励局限在规划模块——感知和预测做得好不好，全凭"规划结果"间接评判。这就像学生考试只算总分，不告诉你哪步推理错了。P³-GRPO 的巧妙在于把梯度信号拆成了三个层次，每个模块都能收到直接的反馈信号。消融实验的数据非常有说服力：感知奖励从 0.33 飙升到 0.64，预测从 0.23 到 0.54，最终碰撞率降到了 0.06%。这验证了一个直觉：要让规划做得好，不如让感知和预测也直接变好。

第二点是 “链式思维"在驾驶中的具象化。NLP 领域的 CoT 是逻辑推理（“先算 A，再算 B，最后得 C”），而驾驶的 CoT 是物理世界的因果链条：“我看到右边有一辆卡车（感知），它会保持直行并占用我的车道（预测），所以我应该减速让行再变道（规划）"。P³-CoT 数据集的构建把这种因果链条显式编码进了训练数据——感知输出是预测的输入约束，预测输出是规划的输入约束。这种结构化的先验知识注入，比让 VLM 自己"悟"出驾驶逻辑要高效得多。

第三点值得称道的是奖励设计中的"渐进式监督"哲学。权重比例 1:2:2:5 不是随意取的，它反映了一个重要的训练策略：先确保格式正确（$\lambda_{\text{format}}$），再提升感知和预测精度（$\lambda_{\text{perc}}, \lambda_{\text{pred}}$），最后重点优化规划（$\lambda_{\text{plan}}$ 最高）。这种分层递进的思路与人类学习驾驶的过程相似——先学会"看"和"预判”，再学"怎么开”。

最后，我特别喜欢 “Fast vs Detailed” 双模设计。这是少有的兼顾了学术严谨和工程实用的设计：Detailed 模式用于训练和可解释性分析，Fast 模式用于实时部署。推理时间对比显示，Fast 模式在保持 85-90% 性能的同时，延迟降低到与直接规划法相近的水平。这种"训练时全面推理、部署时快速决策“的范式，很可能成为 VLA 模型在实际自动驾驶系统中落地的标配。

当然，也有遗憾。论文在 nuScenes 的 L2 位移指标上没有显著突破（与 InsightDrive 等持平），说明 P³-GRPO 的主要增益在**安全维度（碰撞率）**而非精度维度。这其实可以理解——碰撞率的优化更多依赖于感知和预测的准确度（直接受 P³-GRPO 监督），而 L2 位移更多依赖于规划本身的回归能力。

🔗 延伸阅读

相关工作与 AutoDrive-P³ 的关系
UniAD（Hu et al., 2023）开创端到端多任务联合规划范式
VAD（Jiang et al., 2023）向量化场景表示的端到端方案
OmniDrive（Wang et al., 2024）VLM 驾驶的 3D 感知+推理+规划 Agent
AutoVLA（Zhou et al., 2025b）首个将 GRPO 引入 VLA 驾驶的工作
AlphaDrive（2025）GRPO + 奖励 shaping 的驾驶策略优化
AutoDrive-R²（Yuan et al., 2025）奖励驱动的推理与自反思 VLA
DeepSeek-R1（Guo et al., 2025）GRPO 算法的原始来源
R1-VL（Zhang et al., 2025）Step-wise GRPO 在多模态推理中的应用

📖 这是论文精读系列的第 33 篇。当 GRPO 不再只优化"规划"这一层，而是把感知和预测也纳入奖励信号的直接覆盖范围，自动驾驶的 VLA 模型才算真正开始"理解"驾驶——不是记住了轨迹映射，而是学会了"看清→预判→决策"的完整推理链。这种结构化链式思维 + 分层强化微调的范式，或许正是通向可解释、高安全自动驾驶的关键路径。