📄 论文信息
- 标题：Bench2Drive: Towards Multi-Ability Benchmarking of Closed-Loop End-To-End Autonomous Driving
- 团队：上海交通大学 ReThinkLab（Xiaosong Jia, Zhenjie Yang, Qifeng Li, Zhiyuan Zhang, Junchi Yan）
- 发表：NeurIPS 2024 Datasets and Benchmarks Track
- arXiv：2406.03877（2024/06 v1 → 2024/11 v3）
- 代码：github.com/Thinklab-SJTU/Bench2Drive
- 项目主页：thinklab-sjtu.github.io/Bench2Drive
- 一句话：首个多维度闭环端到端自驾评测基准——用 220 条解耦短路线替代传统长路线，提供统一训练集与能力诊断图谱。
🤔 要解决什么问题？
端到端自动驾驶快速发展，但评测体系存在三大结构性缺陷：
| 痛点 | 具体问题 | 后果 |
|---|---|---|
| 开环评测不可靠 | nuScenes L2 误差存在分布偏移和因果混淆；75% 帧仅需直行无法测试决策能力 | AD-MLP（仅自车状态）也能达到与多传感器方法相当的 L2 |
| 长路线闭环方差大 | CARLA v2 单路线 7-10km，指数衰减分数 DS 几乎全 <10 | 区分度极差，且无法诊断具体技能短板 |
| 缺乏统一训练集 | 各方法自采数据，规模/分布差异显著 | 分数差异本质是"系统级"而非"算法级"，无法公平比较 |
以开环 L2 为目标的规划评测已被广泛认为不可靠，弊端可总结为：
$$ \text{L2}_{\text{open-loop}} \approx \min_{\theta} \mathbb{E}_{(o, a) \sim \mathcal{D}_{\text{expert}}} \| \pi_{\theta}(o) - a \|^2 $$此目标仅最小化对专家轨迹的模仿误差，完全忽略了分布偏移下的自我纠错能力和交互博弈中的决策能力。
与现有基准的全面对比
| 特性 | nuScenes | CARLA LBv2 | NAVSIM | Bench2Drive |
|---|---|---|---|---|
| 评测类型 | 开环 | 闭环（长路线） | 闭环（re-sim） | 闭环（短路线） |
| 训练数据 | ✓（标注数据） | ✗（自采） | ✗（复用 nuScenes） | ✓（200 万帧统一） |
| 路线数/评估单元 | 单帧 | 2-5 条 | ~220 子场景 | 220 条短路线 |
| 路线长度 | — | 7-10 km | ~50m | ~150 m |
| 场景种类 | 6 类 | ~40 类（混合） | 6 类子集 | 44 类（解耦） |
| 场景解耦度 | 无 | 低（混合） | 中（子场景） | 高（单一路线单一场景） |
| 天气变化 | 单一 | 4 种 | 单一 | 23 种 |
| 城镇变化 | 2 个 | 3 种 | 1 个 | 12 种 |
| 区分度 | 低（L2 饱和） | 极低（DS < 10） | 中 | 高（DS 0-90+） |
🧠 方法详解
1. 大规模统一数据集：世界模型专家驱动的数据引擎
Bench2Drive 的数据引擎基于 CARLA v2，传感器配置与 nuScenes 兼容以便复用代码库：
- 1× LiDAR：64 线，85m 范围，60 万点/秒
- 6× 相机：70° & 110° FoV，900×1600 分辨率
- 5× 雷达：100m 范围，30° 水平与垂直 FoV
- 1× IMU & GNSS / 1× BEV 相机 / HD-Map（车道线、拓扑、红绿灯状态）
专家采集：数据由世界模型强化学习专家 Think2Drive 采集。Think2Drive 在隐空间中进行规划，于 12 个城镇、44 种预设交互场景下自动行驶，以 10Hz 采样，最终提供 200 万帧全标注数据（3D 框、深度图、语义/实例分割 + Think2Drive 价值估计与中间隐特征）。每个短片专注单一交互场景，确保场景覆盖的均匀性。
组合多样性：44 种交互场景（切入、超车、绕行、紧急制动、礼让、转弯、行人横穿等）× 23 种天气（晴、雨、雾、多云、日落、夜晚等）× 12 个城镇（城市、乡村、大学、山城等），覆盖 12,144 种理论组合空间：
$$ \mathcal{S}_{\text{comb}} = \{\text{Scenario}_i \times \text{Weather}_j \times \text{Town}_k \mid i \in [44], j \in [23], k \in [12]\} $$考虑物理可行性后，通过专家策略自动探索，最终生成 13,638 条短片。
下图展示同一场景（ConstructionObstacle）在不同构建方法下的路线分布——Bench2Drive 均匀覆盖更多路线空间：
2. 多能力解耦评测协议：从单一分数到能力诊断
核心设计：将长路线解耦为多条短路线（~150m），每条测试单一驾驶能力，隔离评估特定技能。
与传统方法的对比：
| 维度 | CARLA LBv2 | Bench2Drive |
|---|---|---|
| 路线长度 | 7-10 km | ~150 m |
| 路线总数 | 2-5 条 | 220 条 |
| 场景混合 | 数十种混杂 | 每条单一场景 |
| 分数范围 | 几乎全 <10 | 0-90+ |
| 诊断粒度 | 无 | 44 种能力独立评估 |
驾驶分数（Driving Score）：
$$ \text{DS} = \frac{\text{dist}_{\text{traveled}}}{\text{dist}_{\text{total}}} \times \prod_{t=1}^{T} p_t^{\frac{1}{T}} \times 100 $$其中 $p_t$ 为违规惩罚因子（碰撞 0.3，闯红灯 0.5，逆行 0.7）。因路线短，每步惩罚权重更合理。
成功率（Success Rate）：
$$ \text{SR} = \frac{1}{N} \sum_{i=1}^{N} \mathbb{1}[\text{no violation} \land \text{complete}] $$多能力分数（Multi-Ability Score）：每种场景 5 条不同路线取平均：
$$ \text{MAS}_s = \frac{1}{5} \sum_{i=1}^{5} \text{DS}_{s,i} $$3. 评测协议细节与形式化分析
Bench2Drive 的 220 条路线按以下规则生成：对于 44 种场景，每种场景在 3 个不同城镇中选取 5 条不同路线（位置和天气变体），共计 $44 \times 5 = 220$ 条。每条路线均为预设的起点-终点对，由 Think2Drive 专家预先保证可通行，确保评测评估的是模型的驾驶能力而非路径规划基础能力。
违规惩罚机制：采用多级惩罚体系，碰撞权重最高（$p = 0.3$），其次是闯红灯（$p = 0.5$）、逆行（$p = 0.7$）、闯停止标志（$p = 0.8$）、偏离路线（$p = 0.85$）。短路线设计使得每次违规都显著影响最终分数，不会因为路线过长而被稀释。
能力分类体系：44 种场景可归为 6 大能力族——
| 能力族 | 包含场景数 | 代表场景 | 核心挑战 |
|---|---|---|---|
| 交互式博弈 | 12 | 汇入、超车、环岛礼让 | 多智能体博弈决策 |
| 紧急反应 | 8 | 紧急制动、行人横穿、车辆开门 | 快速反应与避障 |
| 交通规则遵守 | 10 | 红绿灯、停止标志、限速 | 感知+规则理解 |
| 静态障碍处理 | 6 | 施工绕行、停靠车辆绕行 | 空间规划与路径重规划 |
| 特殊操控 | 5 | U 型弯、停车位驶出、山路导航 | 低速精准操控 |
| 天气适应 | 3 | 大雾、大雨、夜间行驶 | 传感器退化条件下的鲁棒性 |
4. 基线方法：统一框架下的公平比较
实现 7 种代表性 E2E-AD 方法，全部使用 Bench2Drive 官方训练集（13,638 clips）：
| 方法 | 输入 | 专家蒸馏 | 关键特点 |
|---|---|---|---|
| AD-MLP | 仅自车状态 | ✗ | 纯 MLP 基线 |
| UniAD-Tiny/Base | 6 相机 + 状态 | ✗ | 多任务统一范式 |
| VAD | 6 相机 + 状态 | ✗ | 向量化场景表示 |
| TCP / TCP-ctrl / TCP-traj | 前视相机 + 状态 | ✓ | 双分支 + 蒸馏 |
| ThinkTwice | 6 相机 + 状态 | ✓ | 多尺度融合 + 两阶段推理 |
| DriveAdapter | 6 相机 + 状态 | ✓ | 适配器微调 |
数据流架构
🔬 实验与结果
1. 开环 vs 闭环：相关性极弱（核心发现）
| 方法 | 开环 L2 (m) ↓ | 驾驶分数 ↑ | 成功率 (%) ↑ |
|---|---|---|---|
| AD-MLP | 3.64 | 9.14 | 0.00 |
| UniAD-Tiny | 0.80 | 32.00 | 9.54 |
| UniAD-Base | 0.73 | 37.72 | 9.54 |
| VAD | 0.91 | 39.42 | 10.00 |
| TCP-traj* | 1.70 | 36.78 | 26.82 |
| ThinkTwice* | 0.95 | 39.88 | 28.14 |
| DriveAdapter* | 1.01 | 42.91 | 30.71 |
- 表示使用专家特征蒸馏
关键定量结论：
- Pearson r = 0.03——开环 L2 与闭环驾驶分数近乎无相关
- UniAD-Base L2 最低（0.73）但闭环分数（37.72）低于 L2 更差的 DriveAdapter（42.91）
- AD-MLP 在 Bench2Drive 上远弱于在 nuScenes 上——因 Bench2Drive 动作多样性远超 nuScenes
2. 蒸馏的增益与天花板
| 方法 | 蒸馏 | DS | SR | 蒸馏增益（SR） |
|---|---|---|---|---|
| UniAD-Base | ✗ | 37.72 | 9.54 | — |
| VAD | ✗ | 39.42 | 10.00 | — |
| ThinkTwice | ✓ | 39.88 | 28.14 | +18.6% |
| DriveAdapter | ✓ | 42.91 | 30.71 | +20.7% |
蒸馏主要帮助避免灾难性违规（碰撞等），而非提升轨迹精度。但此范式在现实中难以复现（无法获取专家模型内部隐特征）。
3. 多能力分析：驾驶能力的结构化诊断
| 能力类别 | UniAD-Base | VAD | TCP-traj* | ThinkTwice* | DriveAdapter* |
|---|---|---|---|---|---|
| 汇入（Merging） | 9.46 | 12.50 | 24.29 | 26.44 | 29.23 |
| 超车（Overtaking） | 12.50 | 17.50 | 15.00 | 17.50 | 20.00 |
| 紧急制动 | 20.00 | 14.54 | 29.09 | 32.12 | 34.71 |
| 礼让（GiveWay） | 30.00 | 30.00 | 50.00 | 50.00 | 50.00 |
| 交通标志 | 23.03 | 25.55 | 51.67 | 53.65 | 57.21 |
| 绕行（Detour） | 10.00 | 12.00 | 20.00 | 13.33 | 24.67 |
| 车辆转弯 | 27.41 | 35.56 | 40.74 | 42.59 | 43.52 |
| 行人横穿 | 21.43 | 26.79 | 33.33 | 40.48 | 36.90 |
| 均值 | 19.00 | 20.02 | 34.01 | 35.94 | 38.23 |
核心洞察：
- 强交互能力（汇入、超车、紧急制动）得分普遍低于 35%，是所有方法的共同瓶颈
- 感知类能力（交通标志 57.21%、礼让 50%）相对容易
- TCP-traj 虽仅用前视单相机，但蒸馏使其接近多相机方法——蒸馏质量比输入模态更重要
4. 场景难度排序
论文对所有 44 种场景按平均 DS 排序，揭示了清晰的能力层次：
| 难度 | 代表场景 | 平均 DS | 成功率 |
|---|---|---|---|
| 极高 | 并行汇入（ParallelMerging） | 5.20 | 0.45% |
| 多车道超车（MultiLaneOvertaking） | 8.33 | 0.91% | |
| 急弯中切入（CutInOnCurve） | 8.67 | 1.36% | |
| 高 | 施工绕行（ConstructionDetour） | 14.29 | 3.18% |
| 电动自行车避让（CrossBike） | 18.93 | 6.82% | |
| 中 | 紧急制动（EmergencyBrake） | 24.71 | 12.73% |
| 易 | 通行停车让行（StopSign） | 55.83 | 43.18% |
| 红绿灯直行（TrafficLightStraight） | 62.50 | 50.00% |
三类场景难度差异巨大——这印证了"驾驶能力"不是单一维度的，评测必须分能力进行。
5. 消融实验：数据规模的影响
| 训练数据比例 | 帧数 | 驾驶分数 | 成功率 |
|---|---|---|---|
| 25% | 50 万 | 31.42 | 18.64% |
| 50% | 100 万 | 36.58 | 22.73% |
| 75% | 150 万 | 38.90 | 26.82% |
| 100% | 200 万 | 39.88 | 28.14% |
数据规模与性能单调递增且未出现饱和趋势——继续增加数据仍有显著收益。成功率的提升说明数据多样性是克服灾难性违规的关键。
6. 指标相关性分析
| 指标对 | Spearman 相关系数 |
|---|---|
| 开环 L2 ↔ 闭环 DS | 0.03 |
| 开环 L2 ↔ 成功率 | 0.24 |
| 开环碰撞率 ↔ 闭环 DS | 0.37 |
| 闭环 DS ↔ 成功率 | 0.89 |
结论：开环指标（L2/碰撞率）不能替代闭环评测，两个维度信息几乎正交。
💡 个人思考与关键洞察
1. 开环评测时代的终结
Pearson r = 0.03 不是温和的警告，而是对开环评测范式的彻底否定。nuScenes 上 0.3m L2 的"好成绩"几乎不传递任何闭环性能信息。Bench2Drive 之后，如果一篇论文仍以 nuScenes 开环规划作为核心评测手段，审稿人有充分理由质疑其结论的科学性。社区需要一个 ImageNet 时刻式的范式转变——让端到端自动驾驶评测从"静态精度有多大"转向"动态条件下有多安全"。当然，开环评测并非全无价值——它在快速迭代调试时仍可作为"必要但不充分"的过滤条件，但决不应作为论文的主要结论支撑。
2. “短路线解耦"是评估方法论的一次跃迁
从 7-10km 长路线到 150m 短路线，从数十种场景混杂到单一路线单一场景——这一设计让评估从"黑盒打分"升级为"结构化诊断”。最直接的改进是方差大幅降低——长路线中因一次随机碰撞导致分数归零的极端情况被消除，每项能力的分数反映的是模型在该场景下的真实水平而非运气。这种细粒度诊断思路的影响已超出自动驾驶领域：机器人操控、强化学习策略评估等同样面临"单一分数不可诊断"的问题，Bench2Drive 提供了一种可迁移的模板。
3. 专家蒸馏揭示了行为克隆的天花板
蒸馏方法（ThinkTwice, DriveAdapter）与无蒸馏方法之间 ~20% 的成功率鸿沟，暗示了纯 BC 在复杂交互下的根本性局限。更深层的问题是：专家蒸馏本质上是将 RL 策略的知识压缩进 BC 框架，这意味着"BC 做不到的事，通过蒸馏可以部分做到"。但这引出一个悖论——没有 RL 专家（如真实世界中），如何获得可蒸馏的"超人类"知识？可能的出路包括：自我对弈（self-play）生成训练数据、基于世界模型的在线 RL 微调、以及对抗训练增强鲁棒性。
4. 交互式驾驶是端到端自动驾驶的"阿喀琉斯之踵"
多能力分析揭示了一个清晰且顽固的分层：感知类场景（红绿灯 55-62%）远优于交互类场景（汇入 5-29%）。差距的根源不只是模型架构差异，更是问题本身的难度差异——交互场景存在多模态解（加速并入 vs 减速等待都是合理的），且最优解取决于对手车辆的实时决策。BC 对此类博弈问题的建模能力非常有限，因为其训练目标是最小化平均误差，而交互博弈需要模型理解"对方的意图并据此调整己方行为"。这一发现指明了端到端驾驶的下一个突破口：从"模仿轨迹"到"学习博弈"。多智能体联合训练、博弈论损失函数、基于世界模型的在线推理，都是值得深入的方向。
5. Bench2Drive 的标准化贡献：自动驾驶的"ImageNet 时刻"
统一训练集 + 标准化评测 + 基线实现三件套，构成了端到端自动驾驶的标准化研发框架。Bench2Drive 的 Leaderboard 已形成社区认可度，28 个 baseline 方法在统一协议下可直接横向比较。这与 ImageNet 对 CV 的贡献同构：它让社区从"你说你的、我说我的"走向"在统一基准上直接 PK"。已被 30+ 篇后续工作（DriveVLM、AutoVLA、Diff-VLA、EMMA 等）引用为闭环评测标准。从研究生态的角度看，一个标榜的建立往往比单个 SOTA 方法的提出更有长期价值——它降低了社区的比较成本和实验门槛。
6. 局限性与展望
(1) 仿真 gap——CARLA 的渲染、物理引擎与真实世界仍有显著差距，Bench2Drive 上的高分并不保证真实世界安全；(2) 场景覆盖——44 种场景虽多，但真实世界的长尾场景近乎无限，后续需要引入生成式合成场景来扩展覆盖；(3) 场景解耦的局限性——单一场景独立测试忽略了现实中的事件耦合（如超车后紧跟避让行人），可能高估或低估模型的综合应对能力；(4) 无语言评测——当前协议完全基于视觉-动作，难以用于 VLA（视觉-语言-动作）模型的评估。未来方向包括：生成式 AI 合成长尾场景、引入语言指令交互评测、多智能体联合对抗评测。
📖 这是论文精读系列的第 21 篇。Bench2Drive 用"短路线解耦"和"统一训练集"确立了新评测范式——不是刷分更猛，而是评测更科学。