📄 论文信息

  • 标题：CLOVER: Closed-Loop Value Estimation and Ranking for End-to-End Autonomous Driving Planning
  • 团队：清华大学 AIR（智能产业研究院）× 中国科学技术大学 × 北京航空航天大学
  • 作者：Sining Ang, Yuguang Yang, Canyu Chen, Yan Wang（通讯作者）
  • 时间：2026 年 5 月 14 日（v1）/ 5 月 15 日（v2）
  • 论文地址：arXiv 2605.15120
  • 代码仓库：github.com/WilliamXuanYu/CLOVER
  • 一句话定位：以闭环价值估计为核心，通过伪专家覆盖训练 + 保守自蒸馏两阶段优化，对齐端到端规划器的训练与评测分布

📌 一句话概括

CLOVER 提出了一套生成器-打分器闭环框架：生成器产出多样化候选轨迹，打分器预测规则化规划指标的子分数用于推理时排序。通过评估器过滤的伪专家覆盖训练（Stage 1）和保守闭环自蒸馏（Stage 2）交替优化，在 NAVSIM 上达到 94.5 PDMS / 90.4 EPDMS 新 SOTA，NavHard 上取得 48.3 EPDMS 平齐最强结果，nuScenes 开放环评估取得最低 L2 误差与碰撞率。

CLOVER 框架总览 图 1：CLOVER 闭环框架 vs 传统方法。左侧：传统方案中生成器仅受单轨迹模仿监督，排序反馈不参与生成器优化；右侧：CLOVER 使用真实评估器子分数训练打分器，再通过教师引导的自蒸馏保守地优化生成器。

🤔 要解决什么问题？训练-评测错配的根本矛盾

端到端自动驾驶规划器的训练与评测之间横亘着一个结构性矛盾：

  • 训练目标：以 L2 或类似距离最小化模仿单条人类驾驶轨迹 $\tau^{\text{human}}$
  • 评测标准：用规则化规划指标（PDMS / EPDMS）衡量轨迹的安全性、可行驶区域合规、进度、舒适性等多维度表现

这两个目标在数学上不对齐。一条在 L2 空间上"靠近"日志轨迹的方案可能碰撞或驶出可行驶区域，而一条偏离演示的替代方案反而在规则化指标下表现优异。用公式表达：

$$ \min_{\theta} \mathbb{E}_{o \sim \mathcal{D}}[\ell(\pi_{\theta}(o), \tau^{\text{human}})] \quad \text{vs} \quad \max_{\tau \in \text{Candidates}} R(\tau) $$

这两者之间没有必然联系。对于"生成-选择“类规划器（先产出一组候选，再打分排序选最优），这种错配尤为致命——生成器的候选覆盖面和打分器的排序质量共同决定了最终性能，而传统的单轨迹模仿两边都照顾不到。

下表总结了现有范式面对这一错配时的困境：

方法范式训练目标多样性控制评估器反馈闭环优化核心痛点
单轨迹模仿回归L2 模仿❌ 单一输出❌❌mode averaging，无法应对多解场景
多候选+固定锚点L2 模仿+规则选优✅ 有限❌ 仅推理时❌锚点覆盖固定，生成器不感知评估器偏好
扩散多模态生成去噪分布匹配✅ 天然多模态❌❌推理延迟高，无法利用规则信号改进
价值学习式重排序价值预测(PDMS-Closed)❌ 固定候选✅❌生成器与打分器解耦，无闭环改进
CLOVER（本文）集合覆盖+自蒸馏✅ 自适应✅ 全流程✅ 深度耦合系统性对齐训练-评测分布

CLOVER 的核心洞见是：单条轨迹模仿无法支撑集合级规划决策，必须把训练从"点估计"升级为"分布对齐”。

🎯 核心贡献

贡献说明
闭环价值估计将打分器视为轨迹级价值估计器，使用非可微规则评估器（PDMS/EPDMS）的真实子分数训练，将评估反馈引入生成器优化
伪专家覆盖训练从多类可解释候选动作族（横向偏移、加减速、边界行为等）中构造评估器过滤的伪专家轨迹集合，将单轨迹模仿扩展为集合级覆盖监督
保守自蒸馏交替进行打分器拟合（在生成器当前分布上逼近真实子分数）和生成器精炼（向教师选出的 Top-k 与向量 Pareto 目标集合学习），并加入稳定性正则项防止分布漂移
理论保障证明了选中集富集条件——当打分器选中的目标在真实评估器下统计优于当前生成分布时，保守集合级蒸馏必然提升生成器在高分区域的概率质量

🧠 方法详解

2.1 问题设定与预备知识

令 $o$ 表示场景观测（环视图像 + 自车状态），$\tau = {(x_t, y_t)}{t=1}^T$ 表示一条 $T$ 步的未来路径点序列。端到端规划器的目标是学习一个策略 $\pi{\theta}(\cdot \mid o)$，从条件分布中采样候选轨迹。

CLOVER 的生成器-打分器架构包含两个组件：

  1. 生成器 $\pi_{\theta}(\cdot \mid o)$：一个以 Transformer 解码器为核心的模块，输入场景特征（经 DINOv2 ViT-S 编码的 4 路环视图像 + LoRA 微调），通过可学习轨迹查询输出 $K$ 条候选轨迹 $\mathcal{T} = {\tau_i}_{i=1}^K$
  2. 打分器 $S_{\phi}(o, \tau)$：将每条候选轨迹的显式路径点嵌入与场景 token 做交叉注意力，预测规划指标的 $C$ 个分量子分数 $\hat{\mathbf{r}}i = S{\phi}(o, \tau_i) \in \mathbb{R}^C$

推理时，生成器产出候选集，打分器预测子分数，按照 PDMS 合成规则 $\text{PDMS} = f(\hat{\mathbf{r}}_i)$ 选出最优轨迹。评估器、伪专家生成器等模块仅在训练时使用，推理零开销。

在训练阶段，我们可以访问一个非可微的真实规则评估器 $R(o, \tau) \to \mathbf{r}^{\text{true}} \in \mathbb{R}^C$，它输出每个规划指标维度的真实子分数。CLOVER 的关键设计就是利用 $R$ 在训练时的反馈来桥接训练-评测错配。

2.2 Stage 1：评估器过滤的伪专家覆盖训练

核心思路：单条日志轨迹无法覆盖真实驾驶中多样化的合理行为。CLOVER 利用训练时可获取的先验信息构造一个高质量的伪专家轨迹集合 $\mathcal{E}(o)$，将生成器的监督信号从"单点拟合"升级为"集合覆盖"。

伪专家构造流程分为四个步骤：

  1. 多族候选生成：从多个可解释候选动作族生成初始候选池。动作族包括：保持车道巡航、横向偏移（左/右 0.5–2.0 m）、匀速/加速/减速、路口停/行、前方障碍物接近制动、可行驶区域边界超调等。每个动作族包含参数化变体，总初始候选数可达数百条。
  2. 可行驶区域预过滤：通过轻量化的可行驶区域检查与未来占据检查，剔除明显不可行的轨迹。
  3. 真实评估器打分：对剩余轨迹运行完整的规则评估器 $R$，记录每个子分数 $\mathbf{r}^{\text{true}}_i$。
  4. 覆盖感知选择：先按分数阈值 $\delta$ 筛选出高质量轨迹，再在轨迹空间中进行贪心最远点采样（Farthest Point Sampling），保证所选子集在几何和行为两个维度上都覆盖广泛，至多保留 $M$ 条伪专家：
$$ \mathcal{E}(o) = \text{FPS}\big(\{\tau_i : R(o, \tau_i) \geq \delta \land \text{Feasible}(\tau_i)\}, M\big) $$

Stage 1 训练损失由三部分组成：

$$ \mathcal{L}_{\text{stage1}} = \lambda_{\text{gt}} \mathcal{L}_{\text{gt}} + \lambda_{\text{pe}} \mathcal{L}_{\text{pe}} + \lambda_{\text{score}} \mathcal{L}_{\text{score}} $$

其中 $\mathcal{L}{\text{gt}}$ 保留日志轨迹先验（L1 回归到人类轨迹），$\mathcal{L}{\text{pe}}$ 为集合覆盖损失（生成器候选集与伪专家集合之间的 Chamfer 式 L1 距离），$\mathcal{L}_{\text{score}}$ 预训练打分器预测真实评估器子分数。

下图展示了 CLOVER 的完整数据流与两阶段训练流程：

┌│││││││││││││││││││││││││││└─────4┌││└┌││└合─SS──路────成─tt──环─T────a伪a┌└──视─r──(─P─g专g────图─轨a──轨子─D─e家e──像─迹n──迹分─M─构打生───生s──级数─S─1造2分成────成f──打预──::器器────器o──分测─分──阶阶──▶─r──器)┬│▼数──交段段───m────▶替::──D─e─────循──I─r─────规环固冻──N─解───▶─则定结──O─码──│──评(生教──v─│器──◀│─选─估3成师──2──────择器0器────│────最训▶──CV┐─┘┐─┘优练R轮▶──Li──轨阶)T──OT──迹段打拟o──V-──分合p──ES▶│──真-──R│└───实k──(─▶──子──架L│每──▶分&──构o┌└┌条─最─数──与R───候─终─覆P──数A───选─规─盖a──据)─K──轨─划─感r──流─=(──迹─输─知e────6推──路─出─t────4理──径──Fo──▶───点──P───条&──嵌──S蒸──场─候──入──馏──景─选训───────特─轨练─────+──征─迹)┬│▼──▶──编────稳──码────集定──────合性─────│─覆正──────盖则──────损──────失─────────│──────────────────│───│──│▼───┘────────────┐┘┐││──││────────│──│────│──││──││────│││─┐││││││││││││┘

方法详图 图 2：CLOVER 方法总览。Stage 1 做评估器过滤的伪专家覆盖训练 + 打分器预训练，Stage 2 交替进行打分器拟合与生成器保守蒸馏。

2.3 Stage 2：保守闭环自蒸馏

Stage 1 已经让生成器具备了覆盖多样合理轨迹的能力，但生成器的分布尚未与真实评估器的偏好对齐。直接最大化打分器预测的标量分数会面临两大风险：(1) 打分器作为学习模型存在系统性偏差，直接优化会利用这些偏差产生对抗性轨迹；(2) 标量最大化倾向于坍缩候选多样性。

CLOVER 的 Stage 2 采用交替优化策略，在生成器、打分器、教师模型三者之间形成一个闭环：

打分器阶段（Scorer Phase）：固定生成器，在生成器当前分布 $\pi_{\theta}(\cdot \mid o)$ 上采样候选轨迹，以真实评估器子分数为监督信号训练打分器：

$$ \mathcal{L}_{\text{critic}} = \frac{1}{K}\sum_{i=1}^K \ell\big(S_{\phi}(o, \tau_i),\, \mathbf{r}_i^{\text{true}}\big) $$

其中 $\ell$ 为每个子分数维度的 Huber 损失。这一步确保打分器持续跟随生成器分布的变化，始终逼近真实评估器在该分布上的预测。

生成器阶段（Generator Phase）：冻结教师模型（当前生成器的 stop-gradient 副本），利用打分器而非真实评估器选取两类高质量目标集合：

  1. Top-k 集合 $\mathcal{K}^{\text{tea}}$：按打分器合成预测分数排序的前 $k$ 条教师轨迹，代表"综合最优"的方向。
  2. 向量 Pareto 集合 $\mathcal{P}^{\text{tea}}$：在预测子分数空间中非支配的轨迹——即所有子分数不劣于其他候选且至少一个维度严格更优。这保留了安全、舒适、进度之间的多目标权衡，避免标量聚合的隐式偏好。

生成器阶段的损失函数由四项组成：

$$ \mathcal{L}{\text{gen}} = \lambda{\text{traj}}\mathcal{L}_{\text{gt}}

  • \lambda_{\text{topk}}\mathcal{L}_{\text{set}}(\mathcal{T}^{\text{stu}}, \mathcal{K}^{\text{tea}})
  • \lambda_{\text{pareto}}\mathcal{L}_{\text{set}}(\mathcal{T}^{\text{stu}}, \mathcal{P}^{\text{tea}})
  • \lambda_{\text{stab}}\frac{1}{K}\sum_{i=1}^K |\tau_i^{\text{stu}} - \operatorname{sg}(\tau_i^{\text{tea}})|_1 $$

其中集合覆盖损失 $\mathcal{L}_{\text{set}}$ 定义为学生候选集到目标集合的单向 Chamfer 距离：

$$ \mathcal{L}_{\text{set}}(\mathcal{T}^a, \mathcal{T}^b) = \frac{1}{|\mathcal{T}^b|} \sum_{\tau^b \in \mathcal{T}^b} \min_{\tau^a \in \mathcal{T}^a} \sum_{t=1}^T \|\tau_t^a - \tau_t^b\|_1 $$

稳定性正则项 $\mathcal{L}_{\text{stab}}$ 防止生成器偏离教师分布过远，$\operatorname{sg}$ 为 stop-gradient 算子。这四项损失的协同作用实现了"在信任区域内向评估器偏好方向移动“的保守优化。

锚点辅助软重排序（anchored soft-reranking）：NAVSIM v2 的 EPDMS 指标额外要求帧间规划一致性。为此 CLOVER 引入一个单模态锚点模型（由 Stage 1 预训练得到）提供稳定的参考轨迹，对候选轨迹按打分器分数和与锚点轨迹的偏离度做软重排序——偏离过大则适当降分。该模块仅在 EPDMS 评测场景下启用。

2.4 理论分析：选中集富集条件

CLOVER 的核心理论问题是：打分器本身并不完美时，为什么用它引导生成器还能有效？

定理 1（选中集富集条件）：设 $p_t(o)$ 为当前生成分布 $\pi_{\theta_t}(\cdot \mid o)$ 在高分区域 $\mathcal{H}_o$（真实评估器下满足 $R^*(o, \tau)=1$ 的轨迹集合）上的概率质量，$q_t(o)$ 为打分器选中的目标集合（Top-k + Pareto）中位于 $\mathcal{H}_o$ 的比例。若以下选中集富集条件成立：

$$ q_t(o) \geq p_t(o) + \xi_t(o), \quad \xi_t(o) > 0 $$

且生成器更新保持保守（与目标混合分布 $(1-\alpha_t)\mu_t^o + \alpha_t\nu_t^o$ 的 TV 距离 $\leq \eta_t(o)$），则：

$$ p_{t+1}(o) \geq p_t(o) + \alpha_t\xi_t(o) - \eta_t(o) $$

当 $\alpha_t\xi_t(o) > \eta_t(o)$ 时，Stage 2 每一轮迭代都严格提升 $\mathcal{H}_o$ 上的概率质量。

直觉：定理 1 表明，CLOVER 不要求打分器在全空间上精确排序——只要求它选出的目标集合统计上优于当前生成分布即可。这是一个比"完美打分器"弱得多的条件，在实践中几乎总能满足。同时，稳定性正则项保证 $\eta_t(o)$ 足够小，使得净改进 $\alpha_t\xi_t(o) - \eta_t(o)$ 持续为正。

经验验证：在 12,146 个 NAVSIM 场景上，打分器高置信预测（$\hat{s} \geq 0.95$）的真实均分达到 0.9753，满分概率 $P(R^*=1) = 69.74%$，而全局满分概率仅为 35.42%，富集差距约 34.32 个百分点——定理条件的经验证据。

伪专家轨迹可视化 图 3：伪专家轨迹可视化。不同颜色代表不同行为模式——保持车道、减速让行、横向偏移避让等。

多样性可视化 图 4：Stage 2 精炼后生成器保持多样性的定性对比。CLOVER 在不坍缩多样性的前提下提升了候选集质量。

多样性附录 图 5：附录中的补充多样性分析——候选轨迹的有效聚类数（Qualified Cluster Count）在 Stage 2 前后保持甚至提升。

🔬 实验与结果

实验设置

配置详情
基准评测NAVSIM v1 (PDMS)、NAVSIM v2 (EPDMS)、NavHard、nuScenes 开放环
架构DrivoR 风格生成器-打分器，DINOv2 ViT-S + LoRA
输入4 路环视相机（无 LiDAR）
候选数$K=64$
预测范围4 秒，0.5 秒间隔（$T=8$）
训练场景数约 120 万帧
推理速度单 A100 约 110 ms/场景
Stage 2 交替轮数30 轮（60 个 epoch）

主要结果：NAVSIM v1 PDMS

在 NAVSIM v1 的闭环节点评测中，CLOVER 以 94.5 PDMS 刷新 SOTA，大幅领先 DiffusionDrive（88.1）、PRIX（87.8）等主流方法，所有子分数均位列前两名：

方法NCDACTTCComf.EPPDMS
PDMS-Closed (PMLR'23)94.699.889.986.999.989.1
Human driver10010010099.987.594.8
VAD-v2 (ECCV'24)95.797.591.797.184.086.2
DiffusionDrive (CVPR'25)98.296.294.710082.288.1
DrivoR (CoRL'24)99.096.596.099.983.593.7
CLOVER (Ours)99.296.996.599.984.794.5

CLOVER 不仅超越所有基于视觉的方法，还接近人类驾驶员的 94.8 上限——在 NC（无碰撞）和 TTC（碰撞时间）两个安全关键指标上已超过人类水平。

NAVSIM v2 的 EPDMS 指标在 PDMS 基础上增加了帧间一致性和扩展舒适度等维度，评测更严格。CLOVER 以 90.4 EPDMS 取得新 SOTA：

方法EPDMSNCDACDDCTLCEPTTCLKHCEC
DrivoR86.799.188.999.999.980.593.792.083.084.2
CLOVER90.499.489.399.999.984.195.993.589.592.7

在更难的 NavHard 子集（包含长尾、交互复杂场景）上，CLOVER 取得 48.3 EPDMS，平齐当前最强结果，证明了在困难场景下的鲁棒性。

nuScenes 开放环评测

在 nuScenes 开放环轨迹预测评测中，CLOVER 取得了对比方法中最低的 L2 误差与碰撞率，验证了框架在不同数据集和评测协议下的泛化能力。

与相关方法的对比分析

对比方法核心范式评估器反馈生成器多样性闭环优化候选数PDMS
PDMS-Closed价值预测 + 固定候选投票✅❌ 无生成器❌固定库89.1
VAD-v2向量化端到端 + 规划头❌❌❌186.2
DiffusionDrive扩散多模态生成❌✅ 天然多模态❌多候选88.1
PRIX规划 + 推理❌✅ 规则采样❌多候选87.8
DrivoR生成器 + 学习打分器❌✅ DrivoR 生成❌6493.7
CLOVER闭环价值估计 + 自蒸馏✅ 全程✅ 集合级覆盖✅ 循环6494.5

消融研究

主成分消融（NAVSIM v1 PDMS）：

变体多样性监督Stage 2 闭环PDMS
单专家监督基线❌❌93.7
仅多样性（Stage 1 伪专家）✅❌94.1
仅闭环（无 Stage 1 直接蒸馏）❌✅93.8
CLOVER 完整✅✅94.5

关键发现：两个阶段互补——Stage 1 先扩展候选覆盖（+0.4），Stage 2 在扩展后的分布上做精细对齐（再 +0.4），单独使用任一阶段效果都显著弱于组合。Stage 2 在无 Stage 1 的情况下仅 +0.1，说明闭环蒸馏在有限覆盖分布上收益有限。

Stage 2 设计消融：

变体PDMS说明
非迭代联合更新发散生成器与打分器同时更新导致分布漂移
仅自蒸馏（无打分器拟合）93.8–94.0稳定但饱和，缺乏评估器信号
完整交替94.5打分器拟合 → 生成器蒸馏循环

候选集多样性消融：论文还报告了 Stage 2 前后候选集多样性的定量变化。经过 Stage 2 后，候选集在 Pairwise ADE（1.80→5.20）、Qualified Cluster Count（6.02→8.71）、Trajectory Effective Rank（1.14→1.27）等多样性指标上均未下降甚至提升，证明保守自蒸馏没有以牺牲多样性为代价换取高分。

💡 个人思考与关键洞察

  1. 训练-评测错配是端到端规划的核心矛盾，CLOVER 的解法是"用评估器信号做桥接"而非"消除错配”：所有端到端规划器都面临一个事实——训练时的模仿损失与评测时的规则化指标在数学上不对齐。传统思路是设计更复杂的模仿损失（如规划导向的特征学习），但 CLOVER 换了一个视角：既然评估器信号在训练时总是可用的，为什么不直接用它来指导生成器？这种务实的"桥接而非消除"思路，比试图设计一个完美兼容两者的损失函数更可推广。随着规划指标不断演化（PDMS → EPDMS → 未来的新指标），只要评估器信号可用，CLOVER 的框架就能持续适用。

  2. Theorem 1 给出了"不完备监督也能有效"的精确条件，这是理论工作的典范：现实中任何学习到的打分器都有误差，直接最大化一个不完美的打分器是危险的。CLOVER 的理论贡献在于精确刻画了"什么时候用不完美打分器也能提升性能"：只需要打分器选出的集合在真实评估器下统计上优于当前分布，且更新保持保守。这个条件比"打分器必须全局精确"弱得多，在自动驾驶中几乎天然满足——因为驾驶场景中"好方案远多于坏方案"的分布特点保证了富集性。这样的定理才有真正的指导意义：它告诉你框架在哪落地是安全的，而不是一个无法证伪的 upper bound。

  3. Vector Pareto 多目标蒸馏是比标量 Top-k 更本质的设计：PDMS/EPDMS 是多维子分数的加权组合，但不同场景下安全、舒适、进度之间的最佳权衡是不同的。标量 Top-k 选择了"综合分最高"的轨迹，但它隐式地预设了与加权系数一致的偏好。而 Vector Pareto 集合保留了在子分数空间中非支配的全部轨迹——一条安全性极高但进度略低的轨迹，和一条进度很好但安全中等的轨迹，只要各自在某些维度上不被对方支配，就都会被保留。这保证了蒸馏目标的多样性，也解释了为什么同时使用两者效果最优（+0.2 PDMS 对比仅用 Top-k）。

  4. 保守性是闭环自蒸馏的"安全气囊"：如果去掉稳定性正则项 $\mathcal{L}_{\text{stab}}$ 和教师 stop-gradient，直接将生成器往打分器目标方向上推，模型很快会发散。其根本原因是打分器自身的分布偏移——当生成器分布改变后，打分器的训练分布和推理分布不再一致，导致错误积累。CLOVER 的教师 stop-gradient + L1 稳定性约束本质上是一个信任区域机制：教师模型是"锚"，学生只能在距离锚点有限的距离内移动。这与 TRPO/PPO 中的 KL 约束异曲同工——只不过在生成式规划场景下，约束施加在轨迹空间而非策略空间。

  5. 伪专家构造是工程中最重但最容易被忽视的部分：论文附录 A 用了整整 10 个小节详述伪专家构造的工程细节——动作族设计（6 个主族、每个族多个参数化变体）、可行驶区域预检查（栅格化 + 碰撞检测）、轨迹空间最远点采样、覆盖感知选择等。最终效果的 40% 可能来自这些工程细节：动作族覆盖范围决定了伪专家的上限，而覆盖感知的 FPS 保证了所选子集的多样性。这提醒我们，在自动驾驶这类任务中，工程化的数据构造有时比模型架构创新更重要——你的生成器再强，如果监督信号本身就偏了，结果不可能好。

  6. CLOVER 的框架可以推广到任何使用外部评估器的规划系统：虽然 CLOVER 在 NAVSIM PDMS/EPDMS 上验证，但它的"生成器 + 打分器 + 外部评估器闭环"架构完全通用。任何存在可计算评估函数 $R(o, \tau)$ 的规划问题——如机器人导航的代价函数、自动驾驶的安全缓冲区检查、甚至游戏 AI 的奖励函数——都可以套用 CLOVER 的 Stage 1 + Stage 2 框架。CLOVER 真正的贡献不是某个特定的网络结构，而是一个将"外部规则信号"闭环反馈到"学习式生成器"的通用方法论。未来如果我们自己的规划器也想引入一个新的评估指标（如舒适性约束、能耗约束），CLOVER 给出了一个立即可用的改进路径。

CLOVER 是"价值估计 + 生成式规划 + 闭环优化“三者结合的一次漂亮工程实践。它的思想简洁但效果显著——不依赖于复杂的扩散或流匹配模型，仅用一个 Transformer 生成器 + 轻量打分器 + 外部评估器的闭环就达到了视觉-only 的 SOTA。这再次验证了一个基本洞见：在感知和生成能力已经足够强的今天，制约端到端驾驶的瓶颈往往不在模型容量，而在"用什么信号、以什么方式"指导模型。

Paper: arXiv 2605.15120 | Code: github.com/WilliamXuanYu/CLOVER