开环评测 vs 闭环评测深度解析

一、引言 在自动驾驶规划算法的研发流程中,评估方法的选择直接影响研究者对模型能力的判断。目前两类主流的评估范式——开环评测(Open-loop Evaluation)与闭环评测(Closed-loop Evaluation)——各有理论基础和适用范围,但二者之间存在显著的鸿沟。 NAVSIM 论文《Can We Also Drive in Closed-loop?》通过系统性实证研究揭示了这一鸿沟的严重程度:开环评测中的 L2 误差与闭环驾驶质量之间的 Pearson 相关系数仅约 0.3。这意味着一个在开环评测中排名第一的模型,在真实闭环部署中可能完全不合格。越来越多的研究者开始呼吁抛弃"开环迷信",转向更可靠的闭环评估或混合评估策略。 本文将从原理、方法、指标和实证分析四个维度,全面解析这两种评测范式,帮助研究者在论文写作和模型选择中做出更准确的判断。 二、开环评测 2.1 基本定义 开环评测的核心流程如下: 从已录制的驾驶数据集中取出一个片段 将历史观测数据(图像、点云、高精地图等)输入规划模型 模型输出未来一段时间的 EGO 预测轨迹 将预测轨迹与人类驾驶员在 log 中的实际轨迹(ground truth)进行比较 计算误差指标 关键特征在于:评测过程中,模型不会接收到自身决策的反馈。每一步的输入都来自真实 log 数据,与模型的预测无关。 2.2 数据流示意 t t t = = = 0 1 2 : : : 观 观 观 测 测 测 x x x ₀ ₁ ₂ → → → 模 模 模 型 型 型 → → → 预 预 预 测 测 测 ŷ ŷ ŷ ₀ ₁ ₂ ( ( x x ₁ ₂ 来 来 自 自 l l o o g g , , 与 与 ŷ ŷ ₀ ₀ 、 无 ŷ 关 ₁ ) 无 关 ) 这种"教师强制(Teacher Forcing)“模式下,模型的一步预测误差不会传播到下一步——每一步都是独立比较。 ...

2026年7月19日 · 4 分钟 · 655 字 · AutoDriving Blog