一、引言

在自动驾驶规划算法的研发流程中，评估方法的选择直接影响研究者对模型能力的判断。目前两类主流的评估范式——开环评测（Open-loop Evaluation）与闭环评测（Closed-loop Evaluation）——各有理论基础和适用范围，但二者之间存在显著的鸿沟。

NAVSIM 论文《Can We Also Drive in Closed-loop?》通过系统性实证研究揭示了这一鸿沟的严重程度：开环评测中的 L2 误差与闭环驾驶质量之间的 Pearson 相关系数仅约 0.3。这意味着一个在开环评测中排名第一的模型，在真实闭环部署中可能完全不合格。越来越多的研究者开始呼吁抛弃"开环迷信"，转向更可靠的闭环评估或混合评估策略。

本文将从原理、方法、指标和实证分析四个维度，全面解析这两种评测范式，帮助研究者在论文写作和模型选择中做出更准确的判断。

二、开环评测

2.1 基本定义

开环评测的核心流程如下：

  1. 从已录制的驾驶数据集中取出一个片段
  2. 将历史观测数据（图像、点云、高精地图等）输入规划模型
  3. 模型输出未来一段时间的 EGO 预测轨迹
  4. 将预测轨迹与人类驾驶员在 log 中的实际轨迹（ground truth）进行比较
  5. 计算误差指标

关键特征在于：评测过程中，模型不会接收到自身决策的反馈。每一步的输入都来自真实 log 数据，与模型的预测无关。

2.2 数据流示意

ttt===012:::观观观测测测xxx₀₁₂→→→模模模型型型→→→预预预测测测ŷŷŷ₀₁₂（（xx₁₂来来自自lloogg，，与与ŷŷ₀₀、无ŷ关₁）无关）

这种"教师强制（Teacher Forcing）“模式下，模型的一步预测误差不会传播到下一步——每一步都是独立比较。

2.3 常见指标

L1/L2 位移误差：在未来时刻 t 上预测位置与真值位置之间的距离。通常报告 1s、2s、3s 时域上的误差。

ADE（Average Displacement Error）：整个预测时域上所有时刻的位移误差均值。

FDE（Final Displacement Error）：预测终点与真值终点之间的位移误差，反映长时域预测精度。

开环碰撞率（Open-loop Collision Rate）：统计预测轨迹中 EGO 与场景中其他物体的碰撞比例。但是这是一个存在根本性缺陷的指标——碰撞检测基于模型的预测轨迹而非真实轨迹，模型可以通过预测"保持静止"来人为降低碰撞率。因此，开环碰撞率不应作为安全性评估的可靠依据。

2.4 开环评测的优势

  1. 无需仿真器：只需标注好的数据集即可运行评估
  2. 计算开销极低：单次评估通常在数分钟内完成
  3. 结果完全可复现：不受随机种子或计算环境影响
  4. 调试方便：可逐帧检查模型预测误差的来源

2.5 开环评测的关键缺陷

分布偏移（Distribution Mismatch）：这是最根本的问题。模型在训练和开环评测中始终看到的是接近真值轨迹的观测（教师强制），但实际部署时，观测会随模型自身决策偏离真值。训练和部署之间的分布差异使得模型无法学会纠正自身的预测误差。

误差累积不可测量：开环不对模型的"系列决策"进行评估。假设一个模型在每一步的预测偏差仅为 0.1 米（方向向左），在开环中这个偏差看起来微不足道。但在闭环中，8 秒的连续预测后这 0.1 米的渐进偏差会累积为 2-3 米的横向偏移，导致车辆驶出车道。

补偿效应（Compensatory Behavior）：在开环中表现良好的模型，可能只是学会了"预测数据集的平均轨迹"这样的保守策略。例如，一个始终输出"保持直行"的模型在大多数场景的 L2 误差都不会太差（因为大部分时间是直行），但在真实驾驶中这种策略会在弯道和交叉口立即失效。

实证案例：在 nuScenes Planning Challenge 上，一个最简单的"恒速模型”（假设车辆在剩余时间内保持当前速度和方向）就能在 L2 指标上达到前 30% 的水平。然而在 NAVSIM 闭环评测中，恒速模型的碰撞率通常超过 60%，驾驶分数几乎为 0。

三、闭环评测

3.1 基本定义

闭环评测将规划模型部署在仿真环境中，让模型与环境和交通参与者实时交互。核心流程：

  1. 初始化仿真场景（包含地图、初始状态、所有参与者的位置和运动状态）
  2. 在每个时间步，仿真器根据当前状态生成观测（传感器数据或抽象状态），输入规划模型
  3. 模型输出轨迹或控制指令
  4. 仿真器执行指令，通过动力学模型更新 EGO 和环境状态
  5. 重复步骤 2-4 直到仿真结束
  6. 汇总全程的安全性和驾乘质量指标

此时，模型的每一步决策都直接影响后续观测，决策偏差会在闭环中放大。

3.2 数据流示意

tt==01::观观测测（xx观₀₁测→→x₁模模型型源于→→ŷ预预₀测测在ŷŷ仿₀₁真中→→的执仿仿行真真结器器果执执，行行而非→→l新新o状状g态态中ss的₁₂x_gt₁）

3.3 三种闭环评测模式

（a）全仿真闭环（Full Simulation）：以 CARLA、MetaDrive、SMARTS 为代表。仿真器不仅模拟车辆动力学和交通参与者行为，还通过图形引擎渲染完整的传感器数据（RGB 图像、深度图、语义分割、LiDAR 点云）。优点是传感器配置完全可控，可以生成任意场景；缺点是图形渲染的真实感有限，传感器仿真与真实传感器之间存在 sim-to-real gap。

（b）Log-replay 仿真闭环（Log-replay Simulation）：以 nuPlan、NAVSIM 为代表。仿真器使用真实 log 数据中的传感器观测作为环境输入，非 EGO 参与者采用 log-replay 模式（沿原始轨迹运动）。EGO 车辆则通过仿真动力学模型执行其决策。优点是传感器数据真实，环境渲染的真实感就是实际采集的数据；缺点是场景多样性受限于 log 数据，非 EGO 车辆不对 EGO 做出反应。

（c）混合仿真闭环（Hybrid Simulation）：结合上述两种模式的优点。NAVSIM 采用了混合方案——传感器观测来自 log 数据（高真实性），EGO 决策通过动力学模型执行（闭环特性），非 EGO 参与者在 log-replay 和反应式模式之间可切换。这种模式在真实感、可复现性和交互丰富性之间取得了良好平衡。

3.4 闭环评测的优势

  1. 反映真实部署性能：误差累积和交互博弈都能在仿真中体现
  2. 可测量有意义的安全性指标：碰撞率在闭环中是"真碰撞"——模型真正做出了导致碰撞的决策
  3. 支持强化学习：RL 方法必须依赖闭环环境提供奖励信号
  4. 可以测试泛化能力：在训练集外或人为设计的困难场景中测试模型

3.5 闭环评测的挑战

  1. Sim-to-Real Gap：仿真中表现优异的模型，在真实世界中由于传感器噪声、动力学误差、感知延迟等因素可能表现不一致
  2. 计算开销大：一次完整闭环评估可能需要数小时
  3. 可复现性较低：特别是使用反应式 agent 时，不同运行的随机种子可能导致结果差异
  4. 仿真器质量影响：动力学模型精度、碰撞检测方式、传感器模拟质量等都会影响评估准确性

四、NAVSIM 的混合方法

4.1 非反应式 Agent + 反应式 EGO

NAVSIM 的核心设计选择：所有非 EGO 交通参与者采用非反应式（non-reactive）模式，严格沿 log 中的原始轨迹运动，不会感知 EGO 的存在。

优势：评估结果完全确定且可复现。 劣势：存在"不可避免碰撞"——如果 EGO 沿 log 轨迹行驶就不会发生碰撞，但主动偏离后反而撞上非反应式车辆，这种碰撞应归于 EGO 的规划失误还是场景设计问题？

4.2 PDA（Pseudo-Dynamic Agent）

为解决"不可避免碰撞"问题，NAVSIM 引入 PDA 机制：

  1. 检测 EGO 与 agent 之间的碰撞，记录时间、位置和速度信息
  2. 检查 EGO 沿真值轨迹行驶是否也会发生同样的碰撞
  3. 如果真值轨迹也会碰撞，则标记为"不可避免碰撞"，不计入评估指标

PDA 的本质是一种反事实推理——“如果 EGO 按照人类驾驶方式行驶，是否同样会撞上？“如果是，说明场景本身的设计存在问题，而非 EGO 策略的失败。这一机制在可复现性和评估公平性之间取得了关键平衡。

4.3 NAVSIM 的四大核心发现

发现一：开环 L2 与闭环 PDMS 几乎不相关 Pearson r ≈ 0.3，Spearman ρ ≈ 0.35。一些开环最优（L2 最小）的模型在闭环中表现垫底，反之亦然。这意味着仅靠开环指标无法为模型选择提供可靠依据。

发现二：PDMS 是最可靠的闭环指标 NAVSIM 提出的 PDMS 综合考虑碰撞安全（二元惩罚）、可行驶区域合规和舒适度（EPDMS 惩罚项），比单一指标（如碰撞率或 L2 误差）更能反映模型的真实部署能力。PDMS 的分布也更接近正态分布，区分度优于其他指标。在 40 多个模型的对比实验中，PDMS 给出了最有意义的模型排名，与人工评估的一致性最高。

发现三：短时域开环指标完全无用 未来 1 秒的 L2 误差与闭环表现的相关性 r ≈ 0.1（实际不相关）。即使扩展到 3 秒，相关性也仅 0.3。这意味着在论文中报告"我们的方法在 1 秒 L2 误差上 SOTA"几乎没有任何实践意义。

发现四：反应式 Agent 显著改变模型排名 在 NR 模式中表现最好的 5 个模型，切换到 R 模式后只有 1 个仍在前 5。保守型模型（倾向于减速让行）在 R 模式中会失去更多通行效率分数，而激进型模型在 R 模式中可能被其他车辆的避让行为"拯救”。这一发现说明：模型在不同交通参与者行为模式下的排序不稳定性，意味着单一评估模式的结果不足以支撑对模型能力的全面判断。

五、开环与闭环的关联性分析

5.1 理论解释

开环与闭环之间的低相关性可以从因果推断的视角来理解。在开环中，我们测量的是 P(ŷ | x) 与 P(y_gt | x) 之间的 KL 散度——即模型在给定观测下的条件分布与真值条件分布之间的差异。而在闭环中，我们测量的是 P(碰撞 | π, T) ——即在给定策略 π 和状态转移函数 T 下的碰撞概率。

这两个目标函数之间存在本质差异：开环误差最小化并不等于安全性最大化。事实上，一个在开环中完美预测的模型（L2 = 0）在闭环中也可能因为动力学模型的精度差异或环境交互的随机性而导致事故。

5.2 Spearman vs Pearson 相关性

更深入的分析表明，Spearman 秩相关系数（ρ ≈ 0.35）略高于 Pearson 相关系数（r ≈ 0.3），说明开环指标对模型排名的预测能力略好于对绝对性能的预测能力。也就是说，开环可以提供一个"大致正确"的排名（前 30% 的模型在闭环中通常也是前 50%），但无法准确预测具体的闭环性能值。

相关性分析还发现：当仅考虑困难场景（如无保护左转、密集车流变道）时，开环与闭环的相关性进一步下降（r < 0.2）——这是因为困难场景中的交互博弈更复杂，开环的预测误差分布更不均匀。

5.3 数学形式化分析

开环与闭环的低相关性有其数学基础。规划模型可视为 f: X → Y。

开环评估的是：L_open = E[||f(x_t) - y_gt_t||]，其中 x_t 来自真实分布 P_gt。 闭环评估的是：L_close = E[Collision(f, sim) + Comfort(f, sim) + …]，其中 sim 的状态转移函数 T(s, f(s)) 使观测分布从 P_gt 变为 P_f。

由于 P_f ≠ P_gt（模型决策导致分布偏移），两种评估的目标函数本身就存在系统性的差异。

5.4 实际案例

模型 A：行为克隆 + L2 损失，开环 L2(3s)=0.8m，闭环 PDMS=0.65 模型 B：行为克隆 + 对抗训练，开环 L2(3s)=1.2m，闭环 PDMS=0.82

如果仅看开环指标，会选择模型 A；但闭环结果表明模型 B 实际更安全、更高效。这种"开环越好、闭环越差"的反转在近年来的论文中屡见不鲜。研究者如果仅依赖开环指标进行模型选择，可能持续走错方向。

5.5 开环评测的正确使用场景

  1. 感知评估：单帧检测、分割——不受时序影响，开环是最佳选择
  2. 轨迹预测：对其他参与者的轨迹预测，闭环评估在技术上不可行
  3. 初始快速筛选：从大量模型候选中筛掉明显不合格的（L2 误差 > 阈值的）
  4. 消融研究的控制变量：需要精确可复现的对比

但开环评测的结果绝不应当作为最终部署决策的依据，也不足以支撑"SOTA"声称。

六、综合建议

6.1 分阶段评估策略

推荐的分阶段评估策略如下表所示。每个阶段的目标、方法和耗时各不相同，研究者应根据自身所处的研发阶段选择合适的评估方式。

阶段评估方法耗时用途区分度
开发初期开环（nuScenes L2）分钟级基线快速验证低
开发中期NAVSIM 闭环（PDMS）小时级模型诊断与选择中
开发后期nuPlan/CARLA 闭环天级最终性能验证高

在开发初期（模型架构设计阶段），开环评测的优势在于速度快、迭代效率高。研究者可以在几小时内比较数十种不同的设计选择，快速收敛到有潜力的方向。但此阶段的结论只是初步的——开环表现最好的架构不一定在闭环中同样领先。

在开发中期（模型训练调优阶段），建议切换到 NAVSIM 闭环评测。NAVSIM 的 PDMS 指标能够提供比开环 L2 更有意义的反馈信号。特别是当发现某个模型在开环 L2 和闭环 PDMS 上表现不一致时，应优先相信闭环指标。

在开发后期（最终验证阶段），建议在 nuPlan 或 CARLA 上运行完整的闭环仿真。这些平台的仿真环境更复杂、场景更丰富，能够对模型的泛化能力进行更严格的考验。此阶段的评估结果可以作为论文的主要实验依据。

6.2 论文报告规范

撰写论文时，建议遵循以下规范以保证实验的可信度和可复现性：

  1. 同时报告开环指标（L2、FDE）和闭环指标（PDMS、Driving Score、碰撞率），缺一不可
  2. 明确标注评估模式（开环 / NR 闭环 / R 闭环），并说明仿真器版本和随机种子
  3. 报告多种场景的分解结果（左转、右转、变道、十字路口、弯道等），而非仅报告整体指标
  4. 如果仅报告开环指标，必须在论文中充分讨论其局限性并解释为何无法进行闭环评估，否则审稿人有权质疑结论的有效性
  5. 对于闭环评估，建议报告多次运行（至少 3 次）的均值和标准差，以反映结果的稳定性
  6. 在比较不同方法时，确保使用完全相同的场景集和评估配置，避免因场景选择偏差导致不公平比较

七、开环与闭环选择的决策框架

选择开环还是闭环本质上取决于研究问题的性质和研究阶段。以下决策框架帮助研究者做出合理选择。

7.1 当选择开环评测

开环评测适用于以下研究场景：

  1. 感知模块的独立验证：3D 检测、语义分割、深度估计等感知任务的评估天然是开环的——模型对每一帧独立预测，其预测不会影响下一帧的输入。对于这些任务，开环不仅是可接受的，而且是标准做法。

  2. 轨迹预测模块的评估：对其他交通参与者未来轨迹的预测，几乎不可能在闭环中评估（因为无法将行人或车辆的"真实意图"引入仿真）。因此轨迹预测领域使用 minADE、minFDE 等开环指标是合理且必要的。

  3. 大量消融实验的快速迭代：当需要在数十个超参数组合或架构变体中快速筛选时，开环评估的分钟级耗时是显著优势。但需要注意：筛选结果只是初步的，最终决策需要闭环验证。

  4. 研究初期的基线建立：在探索新的研究方向时，使用开环指标建立基线可以帮助研究者快速了解方法的基本可行性。

7.2 当选择闭环评测

  1. 规划模块的最终验证：任何声称在"规划"任务上取得进展的研究，都必须通过闭环评估来证明其方法的实际有效性。仅报告开环 L2 误差的规划论文将越来越难以被高水平会议接收。

  2. 强化学习方法：RL 方法天然需要在闭环环境中进行训练和评估。开环评估无法提供有意义的奖励信号，也无法衡量 RL 策略的安全性。

  3. 安全关键系统的部署前验证：对于计划部署到实车的系统，闭环仿真是验证安全性的必要步骤。在仿真中表现不佳的模型不应进入实车测试阶段。

  4. 跨模型能力比较：在比较不同架构、不同训练范式的模型时，闭环指标（如 PDMS）能提供比开环指标更有意义的排序。

7.3 混合策略

最理想的评估策略是同时使用开环和闭环指标，利用各自的优势进行互补。具体而言：用开环指标进行快速迭代和消融研究（分钟级反馈），用闭环指标进行最终性能验证（小时级但更有意义），同时通过分析开环到闭环的性能差异来诊断模型的根本问题。如果一个模型的开环 L2 很低但闭环 PDMS 也很低，说明问题在于闭环鲁棒性不足而非预测精度不够——模型无法处理自身决策导致的分布偏移。反之，如果开环 L2 已经较高，那么首要任务可能是提升模型的基础预测能力。

八、总结

开环评测和闭环评测代表了自动驾驶规划评估连续谱上的两端。开环评测的效率和可复现性使其成为快速迭代的得力工具，但闭环评测才是检验模型真实能力的试金石。NAVSIM 等混合方法的出现正在弥合两者之间的鸿沟——让研究者既能获得开环的迭代速度，又能获得闭环的评估可靠性。

理解并正确运用这两种评测范式，是在端到端自动驾驶规划领域做出可信研究的必要条件。任何仅依赖开环 L2 误差就声称 SOTA 的研究，都应该对其结论被审稿人和读者打上问号。