端到端驾驶评测指标全景

一、引言

端到端自动驾驶模型的快速发展对评测体系提出了迫切需求。从早期的行为克隆论文仅报告 L2 位移误差，到如今 NAVSIM、nuPlan、Bench2Drive、CARLA 等多个基准各自定义复杂的复合指标，评测指标呈现出"从单一到综合、从开环到闭环、从粗粒度到细粒度"的演进趋势。

然而，指标选择本身也成为了一个需要深思熟虑的问题——不同的指标反应驾驶质量的不同侧面，单一指标往往存在偏差。理解每个指标的设计动机、计算细节和局限性，是做出可信研究的必要条件。

本文系统梳理端到端驾驶评测领域的主流指标，涵盖开环指标、闭环综合指标、按场景分解指标以及成功率等，并分析各指标之间的关联与互补关系。

二、开环评测指标

开环指标衡量模型预测轨迹与人类真值轨迹之间的差距，虽然不直接反映真实驾驶能力，但因其计算简单、可复现性强而被广泛使用。

2.1 L1/L2 位移误差

定义：在未来时刻 t（通常取 1.0s、2.0s、3.0s）上，预测位置与真值位置之间的距离。

公式：

解读：L2 误差越小越好，但存在显著的饱和效应——当误差降到一定程度后，进一步降低 L2 未必意味着更好的驾驶能力。更严重的问题是：L2 误差对轨迹的"合理性"完全不敏感，一个不安全的急刹车轨迹和一个安全的平稳减速轨迹可能有相同的 L2 误差。此外，L2 误差也无法区分横向偏差和纵向偏差——偏离车道 0.5 米和速度偏差 5 km/h 可能产生相同的 L2 值。

2.2 开环碰撞率

定义：预测轨迹中 EGO 与场景中其他物体发生碰撞的帧数比例。

重要警告：这是一个存在根本性缺陷的指标。开环碰撞检测基于模型的"预测"轨迹而非实际执行轨迹——如果模型预测了一个偏离真值 5 米的路径，碰撞检测会报告碰撞，但这个碰撞在真实场景中根本不存在。模型完全可以预测"停车不动"来获得极低碰撞率。因此在论文中使用开环碰撞率作为安全性指标是不合理的，审稿人应对此提出质疑。开环碰撞率不应作为安全性评估依据。

2.3 横向/纵向分解误差

将 L2 误差分解为横向误差（垂直于行驶方向）和纵向误差（沿行驶方向）：

• 横向误差大：通常意味着车道保持能力不足，可能导致偏离车道
• 纵向误差大：通常意味着速度控制不佳，可能导致与前车距离不当

分解误差有助于诊断模型的具体问题类型，比单一 L2 提供更多的诊断信息。

2.4 开环指标的核心局限

NAVSIM 论文通过大规模实验证明：

• L2(1s) 与闭环 PDMS 的 Pearson r ≈ 0.1（几乎不相关）
• L2(3s) 与闭环 PDMS 的 Pearson r ≈ 0.3（弱相关）
• 开环碰撞率与闭环碰撞率之间几乎没有一致性

本质上，开环指标衡量的是"模仿能力"而非"驾驶能力"——模型可以出色地模仿人类轨迹，但面对分布偏移时完全失效。

三、闭环评测综合指标

闭环指标在仿真环境中计算，能够真实反映模型在连续决策场景中的表现。

3.1 PDMS（Pseudo-Dynamic Metric Score）

由 NAVSIM 团队提出，是目前闭环评测领域最具影响力的综合指标之一。

核心思想：在非反应式闭环仿真中，从安全性、可行驶区域合规性和舒适度三个维度综合评价。

计算公式：

No_Collision：是否发生碰撞的二元指标（0 或 1）。一旦碰撞，PDMS 直接归零——反映安全是第一性原则。

Drivable_Area_Compliance：车辆在可行驶区域内行驶的时间比例。由于 NAVSIM 的非反应式特性，一旦 EGO 驶出道路边界，几乎无法返回可行驶区域。

EPDMS（Extended PDMS）：舒适度和通行效率的加权惩罚项：

各维度含义与惩罚条件：

从权重分配可以看出，NAVSIM 的设计者将时间进度（0.30）视为最重要的驾驶质量维度——这与直觉一致：一个无法有效到达目的地的规划器即使再安全、再舒适也是没有实际用处的。而纵向/横向加速度、方向盘变化率、限速合规和行驶效率这四个舒适度维度的权重各为 0.15，反映了设计者对驾乘体验的均衡考虑。

W 函数将原始值映射到 [0,1] 区间：0 表示完美（无惩罚），1 表示完全无法接受。映射函数通常采用分段线性或 sigmoid 形式。

PDMS 的优缺点：优点在于综合性强、各维度权重透明公开、碰撞直接归零体现了安全第一的设计原则。缺点在于二元碰撞惩罚过于严苛——轻微擦碰和严重事故被同样对待，导致 PDMS 的区分度在碰撞边界附近下降。此外 PDMS 无法区分"几乎成功"（如行驶了 99% 路线后碰撞）和"彻底失败"（如起步即碰撞），两者都会得到零分。

3.2 CARLA 驾驶分数（Drive Score）

CARLA Leaderboard 是自动驾驶领域历史最悠久的在线评测平台之一，其驾驶分数被广泛应用于端到端驾驶模型的横向比较。

计算公式：

Route_Completion：车辆实际行驶距离占计划路线总距离的比例。

Collision_Penalty：基于碰撞类型和严重程度的折扣系数：

• 与行人碰撞：penalty = 1.0（任务直接失败）
• 与车辆碰撞：penalty = 0.6
• 与静态物体碰撞：penalty = 0.3
• 偏离道路：penalty 按违规持续时间累积

辅助违规指标：

• 红灯违规次数（Red Light Violation）
• 停止标志违规次数（Stop Sign Violation）
• 车道线违规时长（Lane Violation）
• 导航路线偏离（Route Deviation）

CARLA DS vs PDMS 的设计哲学差异： PDMS 采用"碰撞即归零"的保守策略，CARLA 允许碰撞后继续行驶（乘以一个 < 1 的折扣）。前者更安全导向，后者更通行效率导向。两种设计各有道理：安全至上的观点认为碰撞后应立即终止评估；效率至上的观点认为碰撞后仍可继续评估模型的事后应对能力。

3.3 Bench2Drive 驾驶分数（DS）

Bench2Drive 是 2024 年提出的评测基准，核心创新是将驾驶能力分解为 8 个子能力分别评估。

8 项驾驶能力：前向控制（直道速度保持与车道居中）、跟随前车（安全跟车距离与速度匹配）、变道（动态交通流中安全变道）、左转（有保护和无保护左转）、右转（注意行人和自行车）、十字路口处理（直行通过信号灯路口）、弯道处理（弯道速度与走线控制）、停车（指定位置精准停靠）。

DS 计算公式：

其中 DS_i 是第 i 项能力的子分数，由安全性、通行效率和舒适度三部分组成：

Bench2Drive 默认等权重（w_i = 1），但研究者可根据自身需求调整各能力的权重。

Bench2Drive DS 的优势：细粒度能力分解可一目了然地看出模型优势和短板；1000+ 预定义场景覆盖各种路况和操作；权重可调整使定制化评估成为可能。

3.4 成功率（Success Rate, SR）

成功率是最直观的评估指标，衡量模型成功完成场景的比例。

不同平台的成功定义：

成功率的优点是直观易懂，适合向非专业读者传达模型性能。缺点在于二值化损失了大量连续信息——两个模型可能一个成功率为 90%、另一个为 0%，但它们的实际驾驶能力差距或许并没有那么悬殊（成功率为 0% 的模型可能只是在一个高难度场景上失败了，但在其余场景上表现完美）。因此成功率必须与连续指标（如 PDMS 或 DS）配合使用才能提供完整的性能画像。改进方案：引入"部分成功率"概念，如每帧检查安全状态的帧级成功率，或按场景难度分层的加权成功率。

四、各指标覆盖维度对比

关键观察：只有 PDMS 和 Bench2Drive DS 覆盖了舒适度维度；只有 Bench2Drive DS 提供了可分解的能力评估；开环指标在安全性和舒适度的评估上完全不可用；没有任何一个单一指标能完美覆盖所有维度。因此多指标报告不仅是必要的，而且是做出可信研究的基础要求。研究者在论文中应至少报告一种闭环综合指标和相应的分解结果，以提供对模型能力的全面评估。

五、Per-Scenario 分解分析

5.1 典型场景类型与失败模式

左转：分有保护（箭头绿灯，较简单）和无保护（需判断对向直行车间隙，困难场景）。常见失败包括错过转弯时机、切入对向车道过晚、对车辆速度估计不准。右转：需关注右侧行人和自行车，常见失败是转弯半径过小压路沿、未充分观察右侧。变道：要求在动态交通流中找到安全的变道时机，常见失败是过于犹豫错过时机或过于激进导致后车急刹。十字路口直行：需关注横向来车是否闯红灯，常见失败是速度控制不当。弯道处理：需根据曲率调整速度和方向，常见失败是入弯速度过快或弯中修正过多。

5.2 分解分析的价值

按场景分解的核心价值在于定位问题。一个模型在直道上表现完美（PDMS=0.95），但在无保护左转上频繁失败（PDMS=0.2），整体 PDMS=0.7 无法告诉研究者"问题出在左转"。Bench2Drive 的雷达图展示是优秀实践——8 项能力一目了然地呈现模型的长板和短板。当模型在常规场景上性能饱和（PDMS > 0.90），建议转向困难场景如 nuScenes-GR-20K（20000 个高难度片段）进行更有效的区分。

六、指标间的关联与互补

6.1 指标覆盖维度对比

单一指标只能反应驾驶质量的一个侧面：L2 误差反应轨迹精度但与安全性几乎无关，碰撞率反应安全性但无法反应舒适度，PDMS 综合性强但碰撞惩罚为二元且无法分解。实际驾驶质量是一个多维概念，没有任何单一指标可以完美量化——一个安全的模型可能效率极低（始终 5 km/h），一个高效的模型可能经常轻微擦碰，一个舒适的模型可能总是完不成路线。因此多指标报告是必要且必须的。

6.2 指标间的 Pearson 相关性

NAVSIM 对不同指标一致性进行了分析：PDMS 和 Drivable Area Compliance 高度相关（r > 0.8），因为驶出道路必然导致任务失败；PDMS 和 Collision Score 中度相关（r ≈ 0.6）；PDMS 和 SR 高度相关（r ≈ 0.75），但 SR 的区分度不如 PDMS；L2 Error 和任何闭环指标的相关性都很低（r < 0.35）。不同闭环指标之间有一定一致性，但都不足以相互替代。

6.3 指标的饱和现象

近年来一些指标出现严重通胀：nuScenes 的 L2 误差领先方法差距已缩小到厘米级，简单场景 PDMS 趋近于 1.0，CARLA Drive Score 在标准路线上已达天花板。建议转向长时域指标（5s、8s FDE）、使用困难场景子集（nuScenes-GR-20K）、优先采用闭环指标——它们的饱和程度远低于开环指标。

七、指标选择实用指南

7.1 按研究目标选择

7.2 按论文发表要求

完整报告（推荐）：

1. PDMS（NAVSIM 闭环）及其各维度分解
2. Bench2Drive DS 及其 8 项能力分解
3. Success Rate
4. 在两种以上仿真平台验证（如 NAVSIM + nuPlan 或 NAVSIM + CARLA）
5. 开环 L2 误差作为补充参考

精简报告（版面受限）：

1. 至少一种闭环综合指标（PDMS 或 DS）
2. 碰撞率（闭环）
3. Success Rate
4. 明确指出仿真平台、评估模式和场景定义

无论采用哪种方案，都应避免仅报告开环指标的论文发表策略。审稿人和读者越来越意识到开环指标无法反映模型真实能力，仅依赖 L2 误差的 SOTA 声称在顶级会议上正变得不可接受。

八、未来趋势

世界模型作为评估器：利用世界模型对规划结果的合理性进行评估，学习驾驶状态的"正常性"，对违反常识的轨迹给出高惩罚。有望解决当前指标对"概率合理但非真值"轨迹的不公平惩罚问题。

因果评估：从"轨迹是否与真值一致"转向"决策是否合理"的评估范式。即使模型输出的轨迹偏离了人类驾驶的真值轨迹，只要在安全性、交互合理性和交通规则遵守方面表现良好，就应该获得高分。因果评估的核心方法是反事实推理——“如果 EGO 做出了不同的决策，结果是否会更好？“通过回答这一问题，评估系统可以区分"必须那样做"和"可以这样做但选择了不同做法"这两种截然不同的情况。

个性化权重：允许用户调整 PDMS 或 DS 各维度权重生成个性化分数。安全性敏感用户设碰撞权重为 1.0，效率优先的网约车司机可降低舒适度权重。这种个性化评估将推动自动驾驶系统从"一刀切"式设计走向面向不同用户群体的差异化开发。

九、总结

端到端自动驾驶评测已从单一的 L2 误差时代进入以 PDMS、Bench2Drive DS、CARLA Drive Score 和 Success Rate 为代表的多维综合指标时代。每个指标各有侧重：PDMS 综合且严格、CARLA DS 弹性且实用、Bench2Drive DS 细致可分解、Success Rate 直观但粗糙。

正确理解并组合使用这些指标是做出可信研究的基础。L2 误差时代正在终结，闭环综合指标时代已经到来。研究者应始终报告多指标（特别是闭环指标），关注不同场景的分解表现，以获得对方法全面客观的评价。在选择指标时，建议遵循"闭环为主、开环为辅、多维度综合、分场景报告"的原则，这是当前端到端自动驾驶评测的最佳实践。同时也要注意，没有任何指标是完美的——每个指标都有设计假设和局限性，理解这些局限性比盲目追求高分更为重要。