📄 论文信息
- 标题:DriveFuture: Future-Aware Latent World Models for Autonomous Driving(未来感知潜在世界模型——以未来条件化当前的自动驾驶规划新范式)
- 团队:北京理工大学、中科院自动化所、北京航空航天大学、北京交通大学、昆士兰大学、澳门大学、南洋理工大学、燕山大学(9 位作者)
- 作者:Yufeng Hong(^\dagger), Xiaotian Zhou(^\dagger), Yingyan Li, Xiangpo Zhou, Lin Liu, Yadan Luo, Shaoqing Xu, Lei Yang, Ziying Song(^\ast)
- arXiv:2605.09701(2026 年 5 月 10 日)
- 领域:cs.CV / cs.RO
- 代码:未开源
- 一句话定位:让潜在世界模型不再只是"预测未来",而是用未来状态条件化当前的决策表征——训练时用 GT future 做条件,推理时用预测的 future 接替,把"未来感知"从辅助目标升级为规划的核心条件信号。
📌 一句话概括
DriveFuture 提出了一种未来感知潜在世界模型框架,核心洞察是:现有潜在世界模型(如 World4Drive、Latent-WAM)将未来状态当作预测目标来优化,导致当前特征与未来特征在隐空间中互相纠缠,模型更擅长"模拟未来"而非"用未来指导现在"。DriveFuture 从根本上翻转了这一范式——它将未来世界状态作为显式条件注入当前决策过程,训练时用 GT 未来隐状态通过交叉注意力修正预测的 future latent,推理时无缝切换为自预测的 future latent,实现统一的"foresight"机制。在 NAVSIM 基准上,DriveFuture 以 55.5 EPDMS 位列 navhard 排行榜第一,在 navtest 上达到 89.9 EPDMS 和 90.7 PDMS,全面超越现有 SOTA。
🏗️ 架构总览

图 1:DriveFuture 整体架构。多视图观测经 Perception Encoder 编码为场景隐变量 $\mathbf{Z}t$;Latent Dynamics Predictor 以 $\mathbf{Z}t$ 和 tokenized 轨迹意图为条件预测未来隐变量 $\hat{\mathbf{Z}}{t+T}$;训练时 Future Alignment Adapter 通过交叉注意力将预测的未来隐变量与 GT 未来隐变量 $\mathbf{Z}{t+T}$ 对齐,得到未来感知隐变量 $\mathbf{Z}^c_{t+T}$;LatentAlign 在整个训练过程中逐步将规划条件从 $\mathbf{Z}^c_{t+T}$ 退火到 $\hat{\mathbf{Z}}{t+T}$,以弥合训练-推理差距;最终 Future-Conditioned Diffusion Transformer 以 $\mathbf{Z}^c{t+T}$(训练)或 $\hat{\mathbf{Z}}_{t+T}$(推理)为条件进行轨迹去噪规划。
核心组件一览
| 模块 | 功能 | 关键设计 |
|---|---|---|
| Perception Encoder | 多视图 → BEV 隐空间 | V2-99 骨干 + BEV queries (16×64 grid → 64 tokens) + ego status token,输出 $\mathbf{Z}_t \in \mathbb{R}^{65 \times 256}$ |
| Latent Dynamics Predictor | 当前隐状态 + 轨迹意图 → 预测未来隐状态 | Transformer decoder,16 个 future queries,4 层 |
| Future Alignment Adapter | Cross-attention 修正预测未来隐变量 | 预测 future latent 作为 query,GT future latent 作为 key/value;含 LatentAlign 退火机制 |
| Future-Conditioned Diffusion Transformer | 以未来感知隐变量为条件的轨迹去噪 | 5 层 Transformer,先 cross-attend 场景上下文 $\mathbf{C}{\text{scene}}$ 再 cross-attend $\mathbf{Z}^c{t+T}$,输出投影零初始化 |
| Progressive Foresight Guidance (PFG) | 推理时双源引导去噪 | 运动学引导(低噪声阶段)+ Tweedie 引导(高噪声阶段),两阶段切换 |
🤔 要解决什么问题?
现有潜在世界模型的根本缺陷
现有潜在世界模型(如 LATENT-VAE、World4Drive、WorldRFT、DriveWorld-VLA 等)虽然在自动驾驶规划中展现了巨大潜力,但它们有一个共同的范式性缺陷:
未来状态被当作"预测目标",而非"规划条件"。
| 维度 | 现有范式 | DriveFuture 范式 |
|---|---|---|
| 未来隐变量的角色 | 预测目标 / 辅助监督信号 | 规划决策的显式条件 |
| 当前 vs 未来特征关系 | 隐空间中纠缠 | 通过条件化实现解耦 |
| 训练时未来信息的使用 | 目标函数的一部分 | 交叉注意力修正当前表征 |
| 推理时未来信息的使用 | 无(仅用当前预测未来) | 预测的 future latent 作为条件 |
| 模型的核心能力 | 擅长"模拟未来" | 擅长"用未来指导现在" |
特征纠缠问题
现有方法的核心问题是当前特征与未来特征在隐空间中纠缠。当未来状态仅作为预测目标时,模型被迫将当前场景信息与未来预测压缩进同一组隐变量中,导致:
- 规划器难以区分"当前场景中已经存在什么"和"未来将要发生什么"
- 未来预测的误差直接污染当前决策表征
- 模型缺乏显式的"foresight"机制——它无法在决策时"问"未来状态"我这样做会怎样?"

图 2:动机对比。(a) 现有潜在世界模型将未来状态作为预测目标/监督信号,不显式塑造当前表征用于规划;(b) DriveFuture 将未来隐状态作为规划过程的直接条件,训练时用 GT、推理时用预测,实现未来感知轨迹规划;(c) DriveFuture 在 NAVSIM 排行榜上取得 SOTA 表现。
类比:终结者式的未来感知
论文中有一个非常生动的类比——《终结者》式的未来感知。在电影中,终结者能够"看到未来",并将未来知识带回当下指导决策。DriveFuture 的核心哲学正是:
自动驾驶的核心不是模拟未来,而是把未来的知识带回当下——让当前决策能够"看到"未来的后果,从而做出更有远见的选择。
🎯 核心贡献
贡献 1:识别关键范式缺陷
首次明确指出:现有潜在世界模型之所以受限,不是因为它们预测未来不够准,而是因为它们不把未来当作规划条件。 这个观察虽简洁,但对整个领域的设计哲学有直接影响。
贡献 2:未来感知潜在世界模型框架
提出 DriveFuture,包含三个精心设计的组件:
| 组件 | 作用 | 创新点 |
|---|---|---|
| Latent Dynamics Predictor | 从当前隐状态 + 轨迹意图预测未来隐状态 | Conditioning Source Randomisation(三种训练模式混合) |
| Future Alignment Adapter | 用 GT 未来隐状态修正预测 | Cross-Attention Grounding + LatentAlign 退火 |
| Future-Conditioned Diffusion Transformer | 以未来感知隐变量为条件的去噪规划器 | 先场景后未来的双重 cross-attention |
贡献 3:统一的训练-推理范式
这是 DriveFuture 最优雅的设计:训练时用 GT future latent 做条件,推理时无缝切换为自预测的 future latent。LatentAlign 通过退火机制在训练过程中逐步从 GT 过渡到预测,彻底消除训练-推理 gap。
贡献 4:NAVSIM SOTA
| Benchmark | 指标 | DriveFuture | 最佳对比方法 |
|---|---|---|---|
| NAVSIM-v2 navhard | EPDMS ↑ | 55.5 (#1) | DrivoR 54.6 |
| NAVSIM-v2 navtest | EPDMS ↑ | 89.9 | DiffusionDriveV2 87.5 |
| NAVSIM-v1 navtest | PDMS ↑ | 90.7 | GoalFlow 90.3 |
🧠 方法详解
问题设定
给定当前时刻 $t$ 的多视图观测 $\mathbf{I}_t$ 和自车状态 $\mathbf{s}_t$,DriveFuture 的目标是学习一个未来感知的轨迹规划策略:
$$\mathbf{Z}_t = \phi_{\text{enc}}(\mathbf{I}_t, \mathbf{s}_t) \in \mathbb{R}^{N \times d}, \quad N = 65, \quad d = 256$$其中 $\mathbf{Z}t$ 包含 64 个 BEV tokens 和 1 个 ego-status token。未来隐变量 $\mathbf{Z}{t+T}$ 通过相同的编码器从未来观测 $\mathbf{I}_{t+T}$ 提取(训练时 stop-gradient)。
3.1 Latent Dynamics Predictor
轨迹条件化隐式预测
Latent Dynamics Predictor 的核心任务是从当前隐状态 $\mathbf{Z}t$ 和自车动作意图预测未来隐状态 $\hat{\mathbf{Z}}{t+T}$。它通过 Transformer decoder 实现:
$$\hat{\mathbf{Z}}_{t+T} = \phi_{\text{pred}}(\mathbf{Z}_t, \mathbf{E}_\tau)$$其中 $\mathbf{E}_\tau$ 是轨迹意图的 tokenized 表示。预测器的训练通过规划损失驱动——不是通过 MSE 对齐预测与 GT 隐状态,而是通过规划器的扩散损失反向传播梯度来塑造未来隐状态,使其包含规划器可利用的信息。
Conditioning Source Randomisation
在训练时,轨迹意图 $\mathbf{E}_\tau$ 的来源在三种模式间随机切换:
$$\mathbf{E}_\tau \sim \begin{cases} \phi_\tau(\boldsymbol{\tau}^{\text{gt}}), & \text{w.p. } p_{\text{gt}} \\ \phi_\tau(\boldsymbol{\tau}^{\text{kin}}), & \text{w.p. } p_{\text{kin}} \\ \mathbf{E}^\varnothing, & \text{w.p. } p_\varnothing \end{cases}$$| 模式 | 来源 | 概率 | 作用 |
|---|---|---|---|
| GT | 真实轨迹 $\boldsymbol{\tau}^{\text{gt}}$ | $p_{\text{gt}}$ | 训练时提供最优意图路径 |
| Kinematic | 基于恒定加速度外推 $\boldsymbol{\tau}^{\text{kin}}$ | $p_{\text{kin}}$ | 推理时唯一可用的运动学路径 |
| Null | 学习的空 token $\mathbf{E}^\varnothing$ | $p_\varnothing$ | 无轨迹意图时的 fallback |
这种设计使得世界模型在推理时即使没有 GT 轨迹也能稳健工作——因为它在训练期间已经见过"不完美"的轨迹意图。
3.2 Future Alignment Adapter
训练时 DriveFuture 可以访问未来观测 $\mathbf{I}_{t+T}$。Future Alignment Adapter 的作用是:让预测的未来隐变量从 GT 未来隐变量中"汲取"更多规划相关的信息。
Cross-Attention Grounding
具体地,将预测未来隐变量 $\hat{\mathbf{Z}}{t+T}$ 作为 query,GT 未来隐变量 $\mathbf{Z}{t+T}$(stop-gradient)作为 key 和 value,通过交叉注意力得到修正后的未来感知隐变量:
$$\tilde{\mathbf{Z}}_{t+T} = \text{CrossAttn}(\hat{\mathbf{Z}}_{t+T}, \mathbf{Z}_{t+T}, \mathbf{Z}_{t+T})$$交叉注意力的输出经过一个可学习的门控机制与原始预测融合。
LatentAlign
为弥合训练时(使用 GT 修正)和推理时(只能使用自预测)之间的差距,DriveFuture 提出 LatentAlign——一种退火机制,在整个训练过程中逐步将规划条件从 $\tilde{\mathbf{Z}}{t+T}$(GT 修正版)过渡到 $\hat{\mathbf{Z}}{t+T}$(自预测版):
$$\mathbf{Z}_{t+T}^{c,(i)} = \begin{cases} \tilde{\mathbf{Z}}_{t+T}^{(i)}, & i \in \mathcal{S}_+ \\ \hat{\mathbf{Z}}_{t+T}^{(i)}, & i \notin \mathcal{S}_+ \end{cases}$$其中 $\mathcal{S}_+$ 是在训练过程中逐渐缩小的 token 子集。退火调度由 logistic 函数控制:训练早期 $\alpha \to 1$(完全使用 GT 修正),训练后期 $\alpha \to 0$(完全使用自预测)。
3.3 规划解码器:Future-Conditioned Diffusion Transformer
规划器采用条件扩散 Transformer,以场景上下文 $\mathbf{C}{\text{scene}}$ 和未来感知隐变量 $\mathbf{Z}{t+T}^c$ 为条件,从高斯噪声开始去噪生成轨迹:
$$\mathbf{a}_{s-1} = \text{Denoiser}(\mathbf{a}_s, s, \mathbf{C}_{\text{scene}}, \mathbf{Z}_{t+T}^c)$$去噪器的每个 Transformer block 执行双重交叉注意力:
- 先 cross-attend 到场景上下文 $\mathbf{C}_{\text{scene}}$(获取环境几何信息)
- 再 cross-attend 到未来感知隐变量 $\mathbf{Z}_{t+T}^c$(获取未来语义校正)
关键技巧:未来交叉注意力的输出投影初始化为零,使得新增模块在训练开始时表现为恒等映射,逐步学习利用未来信息。
3.4 训练目标
$$\mathcal{L} = \lambda_{\text{plan}} \mathcal{L}_{\text{plan}} + \lambda_{\text{bev}} \mathcal{L}_{\text{BEV}}, \quad \lambda_{\text{plan}} = \lambda_{\text{bev}} = 10$$轨迹扩散损失(核心):
$$\mathcal{L}_{\text{plan}} = \mathbb{E}_{s, \boldsymbol{\epsilon}, \mathbf{a}_0} \left\| \boldsymbol{\epsilon} - \epsilon_\theta(\mathbf{a}_s, s, \mathbf{C}_{\text{scene}}, \tilde{\mathbf{Z}}_{t+T}^c) \right\|_2^2$$BEV 分割损失(辅助):
$$\mathcal{L}_{\text{bev}} = \text{CE}(\hat{\mathbf{Y}}^{\text{bev}}, \mathbf{Y}^{\text{bev}})$$规划损失直接通过未来隐变量反向传播到世界模型——这确保了世界模型学习的是规划器可用的未来表征,而非视觉上可重建的未来细节。
3.5 推理与 PFG
推理时,GT 未来不可用,模型使用 Latent Dynamics Predictor 预测的 $\hat{\mathbf{Z}}_{t+T}$ 作为条件。推理流程包含 Progressive Foresight Guidance (PFG):
| 阶段 | 条件源 | 作用 |
|---|---|---|
| 低噪声(前期) | 运动学引导 | 稳定从噪声中恢复粗轨迹 |
| 高噪声(后期) | Tweedie 引导 | 用自洽的轨迹意图精调细节 |
PFG 通过 CFG 风格的双源引导实现:
$$\hat{\boldsymbol{\epsilon}} = \boldsymbol{\epsilon}_\varnothing + w_{\text{kin}}(\boldsymbol{\epsilon}_{\text{kin}} - \boldsymbol{\varnothing}) + w_{\text{tw}}(\boldsymbol{\epsilon}_{\text{tw}} - \boldsymbol{\varnothing})$$推理时采样 100 个轨迹候选,用 GTRS-Dense scorer 选择最优提案。
📊 实验与结果
数据集与设置
DriveFuture 在 NAVSIM 基准上评估,包含三个核心测试集:
| 测试集 | 指标 | 特点 |
|---|---|---|
| NAVSIM-v1 navtest | PDMS | 原始 PDM 风格安全与进度指标 |
| NAVSIM-v2 navtest | EPDMS | 新增规则合规与舒适度指标 |
| NAVSIM-v2 navhard | EPDMS | 两阶段评估,Stage 2 在合成未来观测下测试鲁棒性(最严格) |
NAVSIM-v2 navhard(排行榜 #1)
这是目前最难的设置——Stage 2 在合成未来场景下重评估,直接考验模型的"未来感知"能力。
| 方法 | 类型 | Backbone | EPDMS ↑ | NC ↑ | DAC ↑ | TTC ↑ |
|---|---|---|---|---|---|---|
| TransFuser | E2E | ResNet-34 | 23.1 | 77.7 | 70.2 | 75.6 |
| DiffusionDrive | E2E | ResNet-34 | 24.2 | 82.1 | 72.2 | 78.8 |
| GuideFlow | E2E | ResNet-34 | 27.1 | 87.3 | 76.7 | 85.1 |
| Senna-E2E | E2E | ResNet-50 | 27.2 | 78.6 | 74.8 | 75.7 |
| World4Drive | World Model | V2-99 | 34.9 | 83.5 | 77.5 | 82.2 |
| DiffVLA | VLA | V2-99 | 45.0 | 90.6 | 87.5 | 90.0 |
| DrivoR | E2E | V2-99 | 54.6 | 90.7 | 88.8 | 91.5 |
| DriveFuture (Ours) | World Model | V2-99 | 55.5 | 90.6 | 87.5 | 88.8 |
表 1:NAVSIM-v2 navhard Stage 2 对比。DriveFuture 以 55.5 EPDMS 排名第一,超越 E2E 方法 DrivoR(54.6)和 VLA 方法 DiffVLA(45.0),尤其领先纯世界模型方法 World4Drive(34.9)达 20.6 分。注:表中 DriveFuture 数据为 Stage 2 指标,Stage 1 的 NC/DAC/TTC 更高(96.3/87.8/98.2)。
NAVSIM-v2 navtest(SOTA)
| 方法 | 类型 | EPDMS* ↑ | EPDMS ↑ |
|---|---|---|---|
| TransFuser | E2E | 76.7 | – |
| DiffusionDrive | E2E | – | 84.5 |
| Hydra-MDP++ | E2E | 81.4 | – |
| DriveSuprim | E2E | 83.1 | – |
| ARTEMIS | E2E | 83.1 | – |
| DiffusionDriveV2 | E2E | 85.5 | 87.5 |
| DriveWorld-VLA | VLA | – | 86.8 |
| DriveVLA-W0 | VLA | – | 86.2 |
| Latent-WAM | World Model | – | 89.3 |
| DriveFuture (Ours) | World Model | – | 89.9 |
表 2:NAVSIM-v2 navtest 对比。EPDMS* 为修正前旧版指标,EPDMS 为官方修正后指标。DriveFuture 以 89.9 超越最强世界模型方法 Latent-WAM(89.3)和 E2E 方法 DiffusionDriveV2(87.5)。
NAVSIM-v1 navtest(SOTA)
| 方法 | 类型 | PDMS ↑ | NC ↑ | DAC ↑ | TTC ↑ |
|---|---|---|---|---|---|
| VADv2 | E2E | 76.0 | 97.2 | 89.1 | 91.6 |
| SparseDrive | E2E | 83.5 | 98.5 | 95.3 | 93.9 |
| DriveLaW | World Model | 89.1 | 99.4 | 97.1 | 96.8 |
| GoalFlow | E2E | 90.3 | 99.1 | 99.2 | 97.3 |
| DriveWorld-VLA | VLA | 91.3 | 99.3 | 98.8 | 97.7 |
| DriveFuture (Ours) | World Model | 90.7 | 98.8 | 95.4 | 95.5 |
表 3:NAVSIM-v1 navtest 对比。DriveFuture 以 90.7 PDMS 达到 SOTA 水平,与最强 VLA 方法 DriveWorld-VLA(91.3)接近,超越所有世界模型方法(DriveLaW 89.1)和 E2E 方法(GoalFlow 90.3)。
消融实验
未来监督与 PFG 引导分析
| FF | Impl | MSE | KS | GT | EPDMS | NC | DAC | TTC |
|---|---|---|---|---|---|---|---|---|
| ✗ | ✗ | ✗ | ✓ | ✓ | 30.9 | 83.5 | 77.0 | 83.2 |
| ✓ | ✓ | ✗ | ✗ | ✓ | 32.1 | 86.3 | 77.8 | 84.1 |
| ✓ | ✓ | ✗ | ✓ | ✗ | 32.0 | 86.1 | 76.9 | 83.5 |
| ✓ | ✓ | ✗ | ✓ | ✓ | 34.6 | 86.9 | 79.2 | 85.7 |
表 4:未来监督与 PFG 引导消融实验(navhard,无 GTRS-Dense scorer)。FF=未来帧,Impl=隐式未来约束,MSE=直接 MSE 监督,KS=运动学引导,GT=GT 轨迹引导。核心发现:(1) 纯未来帧训练 + 隐式约束(Impl)比直接 MSE 监督好(32.1 vs 30.9);(2) KS+GT 双引导比任一单独使用更好;(3) 完整配置(全部开启)达到 34.6 EPDMS,验证了各组件互补。
超参数敏感性
| 超参数 | 最佳值 | 影响 |
|---|---|---|
| 未来时间跨度 $t_f$ | 1.5s | 太短信息不足,太长噪声过多 |
| 查询数量 $q_s$ | 16 | 更多的查询增加容量但不一定提升效果 |
| 退火拐点 $e_o$ | 0.83 | 早期需要较多 GT 引导,后期需切换到预测 |
💡 对 VLA 与自动驾驶的启发
DriveFuture 不仅是一篇世界模型论文,更是一篇关于自动驾驶推理范式的论文。它的几个核心洞察对于 VLA 和自动驾驶的通用设计有深远启示:
启发 1:未来条件化是超越世界模型的通用原则
DriveFuture 最根本的贡献不是某个具体模块,而是提出了一个通用原则:
自动驾驶的核心不是预测未来,而是把未来知识带回当下条件化当前的决策。
这个原则不仅适用于潜在世界模型,也适用于:
- VLA 推理:VLM的未来预测结果可以条件化当前的语言-动作映射
- 扩散规划器:任何条件扩散过程都可以引入未来状态作为条件信号
- 行为克隆:训练时的 GT 未来状态蒸馏可以提升推理时的规划质量
启发 2:规划导向的未来表征 vs 重建导向的未来表征
$$ \text{DriveFuture 的选择} \quad \mathcal{L}_{\text{plan}} \to \text{世界模型} \quad \text{vs} \quad \text{传统做法} \quad \mathcal{L}_{\text{MSE}} \to \text{世界模型} $$DriveFuture 的规划损失直接通过世界模型反向传播,确保未来表征只保留规划器需要的信息,而非视觉可重建的所有细节。这与传统做法形成鲜明对比——后者试图用未来帧的像素或特征重建来训练世界模型,浪费容量在不相关的视觉细节上。
启发 3:统一的训练-推理范式
训练使用 GT 条件、推理使用预测条件——这个看似简单的设计实际上解决了世界模型领域最棘手的训练-推理不一致问题。LatentAlign 通过退火机制优雅地弥合了这个 gap:
$$\alpha: 1 \to 0 \quad \text{(从 GT 条件化逐步过渡到自预测条件化)}$$这种"有导师的蒸馏"思想可以推广到自动驾驶中任何需要在训练时使用 oracle 信息的场景。
启发 4:交叉注意力作为"未来感知"的桥梁
Future Alignment Adapter 的核心是用交叉注意力让预测的未来隐变量从 GT 未来隐变量中"汲取"规划相关信息。这与"检索增强生成"(RAG)的思想异曲同工——在推理时,系统不是在真空中做决策,而是"查阅"未来的相关信息后再行动。
启发 5:从"预测未来"到"用未来指导现在"的范式转移
最后,DriveFuture 代表了一种更深层的范式转移:
| 范式 | 核心问题 | 未来信息的角色 | 代表方法 |
|---|---|---|---|
| 反应式 | “现在应该做什么?” | 无 | IL, RL |
| 预测式 | “未来会怎样?” | 预测目标/监督信号 | World4Drive, LATENT-VAE |
| 未来条件式 | “如果未来是这样,现在应该做什么?” | 规划条件信号 | DriveFuture |
这个范式转移不仅是技术层面的,更是哲学层面的——它重新定义了"智能"在自动驾驶中的含义:一个有远见的系统不是在每个时刻独立做决策,而是让未来的知识回流到当下,形成真正的"foresight"。
⚠️ 局限性
| 局限性 | 说明 |
|---|---|
| 近未来局限 | 目前 $t_f=1.5\text{s}$ 的未来跨度较短,长时域(5-10s)的远期规划能力有限 |
| 预测误差级联 | 推理时依赖预测的 future latent,如果预测不准确可能误导规划 |
| 计算成本 | 训练时需同时 forward 当前帧和未来帧的编码器,8×5090 GPU 的硬件门槛不低 |
| 单模式规划 | 虽然采样 100 个候选,但最终规划轨迹仍是单模态的,缺乏多模态行为表达 |
| 无显式不确定性 | 对未来预测的质量没有不确定性度量,无法在预测不准时"保守一点" |
📝 个人思考
DriveFuture 读完最让我兴奋的不是它的 SOTA 指标(虽然 55.5 EPDMS navhard #1 确实很硬),而是它提出的范式转移——从"未来预测"到"未来条件化"。
这个转变的微妙之处在于:每篇世界模型论文都说自己考虑了未来,但几乎所有现有方法都只把未来当结果,而非当条件。 DriveFuture 是第一个将未来信息真正用作"条件信号"——让未来数据通过交叉注意力直接修正当前的规划表征。
另一个值得玩味的点:DriveFuture 的 Future Alignment Adapter 本质上是一个知识蒸馏机制——训练时 GT future latent 是"老师",预测的 future latent 是"学生",通过交叉注意力做知识传递,LatentAlign 退火则是逐渐撤除"老师"的脚手架。这个设计比直接 MSE 对齐更智能,因为交叉注意力允许预测 latent 主动选择性地获取 GT latent 中规划相关的信息,而非被动地匹配所有特征。
从更宏观的视角看,DriveFuture 与 CoWorld-VLA 代表了两种不同的"未来感知"路线:
- CoWorld-VLA:用四个专家 Token(语义、几何、动态、轨迹)从不同维度条件化规划
- DriveFuture:用 end-to-end 的未来隐状态条件化规划(更简洁统一)
两条路线的共同趋势是:世界模型正从"辅助训练工具"进化为"推理时的核心条件信号"。这预示着自动驾驶端到端架构的下一个重要发展方向——未来系统将不是单一地从当前观测到动作,而是在一个动态的未来场景上下文中做推理。
最后,我特别想引用论文中的一句话作为结束:
“The key to latent world modeling lies not merely in simulating future states, but more importantly in conditioning current decision-making on future states.”
这不仅是 DriveFuture 的核心贡献陈述,更是对整个自动驾驶领域的一个设计哲学宣言——在构建下一个世代的自动驾驶系统时,我们应该问的不再是"模型能否预测未来",而是"未来知识能否真正影响当下的决策"。
🔗 延伸阅读
| 工作 | 关系 |
|---|---|
| World4Drive (arXiv 2503.15777) | DriveFuture 对比的基线世界模型方法,将 future latent 作为预测目标 |
| Latent-WAM (arXiv 2606.xxxxx) | 最近的潜在世界动作模型,在 NAVSIM-v2 navtest 上 89.3 EPDMS |
| DriveWorld-VLA (arXiv 2604.xxxxx) | 统一潜在空间世界建模与 VLA,navtest 91.3 PDMS/86.8 EPDMS |
| CoWorld-VLA (arXiv 2605.10426) | 多专家 Token 世界模型推理,未来条件化的另一种实现路径 |
| WorldRFT (arXiv 2603.xxxxx) | 用强化学习微调世界模型规划器,与 DriveFuture 互补 |
| DriveVLA-W0 (arXiv 2603.xxxxx) | 世界模型放大 VLA 数据规模定律,VLA+世界模型路线的代表 |
| DiffVLA (arXiv 2605.xxxxx) | VLA+扩散规划器,navhard 45.0 EPDMS |
| DrivoR (arXiv 2605.xxxxx) | 当前 navhard 第二(54.6 EPDMS),基于 register 的端到端方法 |
📖 这是论文精读系列的第 X 篇。从"预测未来"到"用未来指导现在"——DriveFuture 用一个简单的条件化思想改写了潜在世界模型的范式。当未来信息不再只是目标而成为条件,自动驾驶的"foresight"才真正开始。