端到端驾驶评测指标全景
一、引言 端到端自动驾驶模型的快速发展对评测体系提出了迫切需求。从早期的行为克隆论文仅报告 L2 位移误差,到如今 NAVSIM、nuPlan、Bench2Drive、CARLA 等多个基准各自定义复杂的复合指标,评测指标呈现出"从单一到综合、从开环到闭环、从粗粒度到细粒度"的演进趋势。 然而,指标选择本身也成为了一个需要深思熟虑的问题——不同的指标反应驾驶质量的不同侧面,单一指标往往存在偏差。理解每个指标的设计动机、计算细节和局限性,是做出可信研究的必要条件。 本文系统梳理端到端驾驶评测领域的主流指标,涵盖开环指标、闭环综合指标、按场景分解指标以及成功率等,并分析各指标之间的关联与互补关系。 二、开环评测指标 开环指标衡量模型预测轨迹与人类真值轨迹之间的差距,虽然不直接反映真实驾驶能力,但因其计算简单、可复现性强而被广泛使用。 2.1 L1/L2 位移误差 定义:在未来时刻 t(通常取 1.0s、2.0s、3.0s)上,预测位置与真值位置之间的距离。 公式: L A F 2 D D _ E E t = = = 1 | | / P P T _ _ ) p p r r × e e d d Σ ( ( _ T t t ) ) - - | P P P _ _ _ p g g r t t e ( ( d T t ( ) ) t | | | | ₂ ₂ - P _ g t ( t ) | | ₂ 解读:L2 误差越小越好,但存在显著的饱和效应——当误差降到一定程度后,进一步降低 L2 未必意味着更好的驾驶能力。更严重的问题是:L2 误差对轨迹的"合理性"完全不敏感,一个不安全的急刹车轨迹和一个安全的平稳减速轨迹可能有相同的 L2 误差。此外,L2 误差也无法区分横向偏差和纵向偏差——偏离车道 0.5 米和速度偏差 5 km/h 可能产生相同的 L2 值。 ...