1 引言：为什么需要 Scoring-based 规划
1.1 规划问题的本质
自动驾驶规划本质上是在约束条件下的轨迹生成与选择问题：
- 约束：安全性（无碰撞）、舒适性（低 jerk）、可行性（符合动力学）、规则合规（车道线、信号灯）
- 目标：高效到达目的地
直接回归一条轨迹（Behavior Cloning）天然存在多模态困境：在路口左转或右转都是合理行为，但一条轨迹只能选一个方向，BC 会学习到"平均轨迹"——直冲绿化带。
1.2 生成 vs 评分的根本区别
| 范式 | 方式 | 难度 | 特点 |
|---|---|---|---|
| 直接生成（BC） | 轨迹 → 模仿专家 | 生成困难 | 多模态混合、平均值问题 |
| 评分（Scoring） | 轨迹候选 → 选最优 | 判别容易 | 利用多模态、选择立场 |
核心洞察：判断"哪条轨迹好"比"直接生成轨迹"更容易。判别式任务比生成式任务简单——这在 CV、NLP 领域早已被验证。
1.3 适用场景
- 候选轨迹已经用某种方式生成（规则采样、anchor、diffusion）
- 需要精细的偏好对齐（安全 > 舒适 > 效率）
- 需要后处理可解释性（为什么选这条？score 高在哪？）
2 方法演进路线
2.1 阶段一：BC 回归（Behavior Cloning）
直接使用均方误差（MSE）或负对数似然（NLL）训练网络从观测映射到轨迹。
局限：
- 多模态崩溃：学到的轨迹是"所有可能轨迹的加权平均"
- 安全不可控：遇障碍物时选择"偏左一点偏右一点"的结果是撞上
- 无法处理不确定场景：遇到交互场景，模型只能给出一个模糊的中间结果
2.2 阶段二：多模态评分（Multi-modal Scoring）
核心变化：不再输出单条轨迹，而是输出 K 条候选+每条得分。
训练方式：
- 轨迹分支使用多样化损失（多样损失、最大间距损失）
- 评分分支使用最佳轨迹选择损失（Winner-Takes-All）或排序损失
进步：解决了多模态问题，模型可以同时保留"左转"和"右转"两种可能。
局限：K 的数量有限，难以覆盖所有合理的轨迹模式。
2.3 阶段三：扩散模型（Diffusion-based）
将规划看作条件去噪过程：
- 训练：从高斯噪声逐步还原专家轨迹
- 推理：从随机噪声采样 → 可生成任意数量的轨迹
- 评分：对每个采样结果评估质量
优势：生成质量高、覆盖模式多、可控性强。
局限：推理速度慢（需多步去噪）、需要辅助评分模块。
2.4 阶段四：强化学习（Reinforcement Learning）
将从规划到执行的闭环视作 MDP：
- 奖励函数：安全、舒适、效率、规则遵守
- 学习方法：PPO、SAC、IL+RL 混合
- 与评分的结合：学习一个 critic/Q-function 来评估动作/轨迹价值
现阶段趋势：评分 + 强化学习融合——用 RL 优化评分网络，让评分能力在闭环中持续提升。
3 三大 Scoring 范式详解
3.1 Vocabulary-based（基于词汇的评分）
核心思路：预定义一组离散的"轨迹模式库"（词汇表），每个模式对应一个轨迹模板。推理时选择最匹配的模式。
3.1.1 VADv2（2024）
VADv2 是 Vocabulary-based 方法的典型代表。
- 轨迹词汇表：通过聚类专家轨迹，构建包含 N 个锚点轨迹的词汇表
- 匹配机制：对当前场景，预测最匹配的 M 个词汇索引及其偏移量
- 评分方式：词汇表中每个锚点有一个学到的先验分数，结合场景调整得到最终分数
- 采样方式：从词汇表中选择 top-k，精调偏移后作为候选轨迹
数学形式：
优势：
- 推理快（一次前向即可）
- 覆盖主流的轨迹模式
- 可解释性（选的是哪个模式）
局限：
- 词汇表固定 → 难覆盖长尾轨迹
- 词汇表大小受限于聚类质量
3.1.2 Hydra-MDP（2024）
Hydra-MDP 用"多个专家头"代替固定词汇表，每个头隐式学习一类轨迹模式。
- 多头架构：N 个并列的轨迹预测头，每个头输出一条轨迹 + 置信度
- 差异化训练：每个头使用不同的数据子集训练，自然分化出不同行为模式
- 评分网络：一个独立的评分器对所有头输出的轨迹评分
- 选择策略：评分最高 → 作为最终轨迹
关键创新：头的差异化不靠人工定义，而是让数据天然驱动分化。
3.1.3 Vocabulary 范式的共同问题
- 模式覆盖度受限于词汇量 K
- 对动态交互场景表达力不足（词汇模式往往偏静态）
- 候选轨迹之间缺乏显式的多样性约束
3.2 Dynamic Generation（动态生成评分）
核心思路：不依赖固定词汇表，而是在推理时动态生成候选轨迹，再评分挑选。
3.2.1 TOAD（2024）
TOAD（Trajectory Optimization with Adaptive Diffusion）将 CEM（Cross-Entropy Method）与学习评分结合。
- CEM 采样：从高斯分布采样轨迹 → 用评分模型评估 → 保留 top-k → 更新分布参数
- 评分模型：一个轻量级 MLP 对轨迹 + 场景特征打分
- 迭代优化：多轮 CEM 迭代使采样分布逐步聚焦到高分区域
流程：
优势：
- 不依赖固定模式，理论上可覆盖任意轨迹
- CEM 迭代过程中自然引入场景约束
- 推理算力灵活（迭代次数可调）
局限：
- 推理速度慢（多轮采样）
- 评分模型质量直接决定最终性能
3.2.2 DrivoR（2024-2025）
DrivoR 将 Scoring 建模为排序学习（Learning to Rank）问题。
- 候选轨迹生成：继承自上游模块（如规则采样、其他模型输出）
- 评分网络：pairwise 排序损失训练，区分"好轨迹 vs 坏轨迹"
- 排序聚合：对多维度（安全、舒适、效率）评分做加权融合
关键洞察：评分是一个相对比较任务，pairwise 损失比 pointwise 更有效。
技术细节：
- 特征输入：轨迹本身的空间特征 + 与场景交互的语义特征
- 头部设计：每个评分维度一个独立 head（多任务学习）
- 最终分数：各维度加权和，权重可调
3.3 Diffusion-based（扩散评分）
核心思路：用扩散模型生成轨迹多样性样本，再用评分模型从中筛选。
3.3.1 生成阶段
用扩散模型作为轨迹生成器：
条件扩散：
其中 c 是场景条件（BEV 特征、地图、目标）。
3.3.2 评分阶段
对每个生成的轨迹样本评估：
| 评分类型 | 方法 | 特点 |
|---|---|---|
| 学习评分 | ScoreNet 直接输出 | 可学习复杂偏好 |
| 规则评分 | 硬约束碰撞检测 + 软约束舒适度 | 可解释、可控 |
| 混合评分 | 学习得分 + 规则惩罚项 | 兼顾灵活性与安全性 |
3.3.3 关键权衡
- 样本数量：越多越容易找到好轨迹，但推理开销大
- 去噪步数：步数少 → 速度快但质量低；步数多 → 质量高但速度慢
- 评分器复杂度：简单 MLP vs 交叉注意力融合
4 ScoreNet 设计深度解析
4.1 ScoreNet 的输入输出
输入：
- 候选轨迹特征：轨迹点序列 [(x₁,y₁),…,(x_T,y_T)] 编码后特征
- 场景特征：BEV 特征、地图特征、智能体特征
- 上下文特征：自车状态、导航指令、速度限制
输出：
- 单标量分数：综合质量评分（越大越好）
- 多维分数向量：安全分、舒适分、效率分、规则合规分
4.2 架构设计
4.2.1 简单 MLP（轻量版）
适用：候选轨迹数量大、需要快速评分 局限：无法感知场景上下文，纯轨迹几何评分
4.2.2 轨迹 + 场景交叉注意力（性能版）
- 轨迹 token: 用 transformer 编码轨迹点序列
- 场景 token: 用 BEV encoder/map encoder 的场景特征
- 交叉注意力：轨迹与场景模态交互，感知障碍物、车道线等约束
适用：需要精细的场景感知评分，质量要求高的场景
4.2.3 轨迹对比评分（Pairwise 版）
- 训练中同时评估两条轨迹的相对优劣
- 损失函数使用 hinge loss 或 ranknet loss
- 天然适合排序任务
4.3 训练策略
| 策略 | 方法 | 效果 |
|---|---|---|
| 模仿学习 | 专家轨迹赋最高分 | 基线 |
| 对比学习 | 正样本（专家）> 负样本（随机/坏轨迹） | 更好的区分度 |
| 排序学习 | 按质量排序 pairs | 更精细的偏好对齐 |
| RL finetune | RL 奖励作为 score 监督 | 闭环优化 |
| Human feedback | 人工标注轨迹偏好 | 对齐人类驾驶风格 |
4.4 评分陷阱
- 评分坍缩：所有候选获得相近分数，无法区分。缓解方法：增大负样本难度、使用排序损失
- 单一维度偏好：过度关注安全而忽略效率。缓解方法：多维评分 + 可调权重
- 分布外候选：候选轨迹分布与训练时不匹配。缓解方法：online 采样增强
5 关键论文脉络
5.1 时间线
5.2 各论文核心贡献
| 论文 | 时间 | 核心贡献 |
|---|---|---|
| VADv2 | 2024.03 | 提出轨迹词汇表（Vocabulary）概念，将规划转为"选模式+微调" |
| Hydra-MDP | 2024.06 | 多头规划器 + 独立评分器，数据驱动头差异化 |
| GTRS | 2024.09 | Generalized Trajectory Ranking System，统一评分框架 |
| ZTRS | 2024.12 | Zero-shot Transfer 的轨迹评分，跨场景泛化 |
| SparseDriveV2 | 2025.03 | 在稀疏架构上实现高效 scoring-based 规划 |
| TOAD | 2025.06 | 将 CEM 与学习评分结合，动态生成候选轨迹 |
5.3 脉络演变趋势
- 候选生成从静态到动态：VADv2 固定词汇表 → TOAD 自适应 CEM 采样
- 评分从简单到精细：单标量 → 多维向量 → 排序学习
- 泛化能力逐步提升：场景专用 → 跨场景零样本迁移
- 与端到端深度融合：独立评分模块 → 与规划网络端到端联合训练
6 Scoring-based 范式的优缺点总结
优势
| 方面 | 说明 |
|---|---|
| 多模态 | 天然支持多种候选，不强迫模型选择单峰 |
| 安全性 | 可显式过滤不安全候选，比直接生成更安全 |
| 可解释性 | 可以分析"为什么选 A 不选 B" |
| 迭代友好 | 评分网络可以单独迭代、单独部署 |
| 与 RL 兼容 | 评分网络可视为价值函数，适合 RL fine-tune |
局限
| 方面 | 说明 |
|---|---|
| 候选覆盖 | 生成候选的上限决定了规划的上限 |
| 计算开销 | 需要生成 + 评分两步，时延较高 |
| 评分偏差 | 评分网络本身的偏好可能引入新 bias |
| 联合优化难 | 生成器和评分器需要协调训练，容易失衡 |
7 实践建议
7.1 如何选择评分方法
| 场景 | 推荐方案 | 理由 |
|---|---|---|
| 高速巡航 | Vocabulary-based | 场景简单，固定模式足够 |
| 城市路口 | Dynamic Generation | 交互多样，需要动态适应 |
| 高安全场景 | Diffusion + 规则评分混合 | 覆盖率最高，安全性可控 |
| 资源受限 | 轻量 MLP ScoreNet | 计算量小，易于部署 |
7.2 评分网络实战经验
- 正负样本比例：正负比 1:3 ~ 1:5 最佳，负样本太容易学不到区分度
- 多维评分解耦：安全、舒适、效率分别预测比联合预测一个分数更好
- hard negative mining：用当前模型预测最像好轨迹的坏轨迹作为困难负样本
8 总结
| 维度 | 要点 |
|---|---|
| 核心思想 | 先生成后评分，判别比生成更可靠 |
| 方法演进 | BC → 多模态评分 → 扩散 → RL |
| 范式分类 | Vocabulary-based、Dynamic Generation、Diffusion-based |
| ScoreNet | MLP 轻量版 vs 交叉注意力性能版 |
| 训练策略 | 对比学习 > 模仿学习，排序学习 > pointwise |
| 关键趋势 | 候选动态化、评分精细化、端到端联合训练 |
一句话总结：Scoring-based 规划范式通过"多候选生成 + 学习评分"巧妙绕过了 BC 的多模态困境，当前正朝着候选动态生成、评分精细化和端到端联合优化三个方向快速演进。