📄 论文信息
- 标题：World4Drive: End-to-End Autonomous Driving via Intention-aware Physical Latent World Model
- 团队：中科院自动化所（CASIA）× 理想汽车（Li Auto）× 之江实验室 × 清华
- arXiv：2507.00603（2025 年 7 月，ICCV 2025）
- 代码：
github.com/ucaszyp/World4Drive - 关键词：隐世界模型、意图感知、无感知标注、视觉基础模型先验、自监督
- 一句话总结：第一个把"多模态驾驶意图"和"物理隐世界模型"缝在一起的端到端框架——它让模型像人一样"在不同意图下潜意识推演未来"，再用世界模型给多条候选轨迹打分，全程不需要 3D 框/高精地图等昂贵感知标注。
🤔 要解决什么问题？感知标注是端到端的"隐形税"
端到端自动驾驶最被诟病的一点：看似"传感器进、轨迹出"，其实训练时照样要喂大量感知标注——3D 检测框、车道线、高精地图、occupancy。这些标注又贵又慢，严重卡住规模化。已有的"无标注"尝试分两派：
| 方法 | 思路 | 痛点 |
|---|---|---|
| VaVAM | 自回归视频模型直接生成轨迹 | 单模态视觉特征，缺空间语义 |
| LAW | 隐世界模型，从原图凑单模态隐特征自监督预测未来 | 不理解 3D 空间 + 不会建模多模态意图，收敛慢、性能差 |
作者把 LAW 的瓶颈讲得直白：直接从 RGB 图像学隐特征，根本抓不住物理世界的空间-语义信息，更抓不住"我可能直行、也可能变道"这种多模态意图不确定性。结果就是训练慢、L2 和碰撞率都不理想。World4Drive 要回答的核心问题：能不能不靠感知标注，让世界模型既懂物理、又懂多模态意图？
💡 核心思想：人怎么开车，模型就怎么开车
World4Drive 的灵感来自人类驾驶员的决策直觉——人在开车时，会下意识地在不同意图下"想象"未来世界会怎样，再选最合理的那个动作。作者把这个过程拆成两大模块。
模块一：Driving World Encoding（驾驶世界编码）
这个模块干两件事：抽驾驶意图，抽物理世界隐表征。
意图编码器（Intention Encoder）：借鉴 VADv2，用一个 8192 条轨迹的词表 $\mathcal{V}$，按命令类型（左转/右转/直行）对端点做 k-means 聚类，得到每类 6 个意图点（共 18 个意图），再用自注意力得到意图感知的多模态规划查询 $Q_{plan}$。这一步把"多模态意图"显式编码成可学习的 query。
物理隐编码器（Physical World Latent Encoder） 是全文最硬核的部分，它要让隐表征"懂物理"。具体又分三块：
- 语义理解：用 Grounded-SAM 生成伪语义分割标签（只保留高置信度），用交叉熵损失给隐表征灌入语义先验。
- 3D 空间编码：用 Metric3D v2（度量深度模型）估计多视角深度，配合相机内参做前向投影，把每个像素反投影成自车坐标系下的 3D 位置 $p={x,y,z}$，再经正弦位置编码 + MLP 得到 3D 位置嵌入。这比 PETR 的 post-projection 更直接，能给模型scale-aware 的空间感知。
- 时序聚合：用 cross-attention 把上一帧特征融进当前帧，让隐表征带上时间上下文。
三块拼起来，得到的世界隐表征 $L_t$ 同时富含空间、语义、时序信息——这就是"懂物理"的来源。
模块二：意图感知世界模型（Intention-aware World Model）
有了意图和世界表征，模型在 K 个意图下各预测一个未来隐表征：
$$L_{t+n}=\text{CrossAttention}(Q_{future},\text{Concat}(A,L))$$其中 $A$ 是意图对应的 action token，$n=3$（预测 3 帧后）。关键玩法是 World Model Selector（世界模型选择器）：
- 对每个意图，算"预测未来隐表征"和"真实未来隐表征"的距离，取距离最小的那条意图作为最优模态 j；
- 用它的隐距离做重建损失 $\mathcal{L}_{recon}$ 自监督学习场景表征；
- 同时训练一个 ScoreNet 对 K 条意图打分，用 focal loss 监督；
- 推理时直接选分数最高的那条轨迹输出。
这套机制的本质是：用世界模型当"裁判"，在多模态候选里选最符合物理演化的那条。最终损失是四项加权：
$$\mathcal{L}=\alpha\mathcal{L}_{sem}+\beta\mathcal{L}_{recon}+\gamma\mathcal{L}_{score}+\eta\mathcal{L}_{traj}$$其中只有 $\mathcal{L}_{traj}$ 用到专家轨迹，其余全是自监督——这就是"无感知标注"的底气。
🏗️ 架构深度解析：两大模块如何协同工作
图 1：World4Drive 整体流程图。输入多视角图像流 $I_{1:T}$ 后，模型分为两条支路：(1) 物理世界编码器将图像编码为富含空间-语义先验的隐表征 $L_t$；(2) 意图编码器从导航命令中提取 K 个多模态意图 $A_k$。二者经意图感知世界模型交叉注意力得到 K 个未来隐表征 $L^{k}_{t+n}$，再由 World Model Selector 比较各意图下的预测误差，选出最优意图并输出轨迹。
物理世界编码器（Physical World Latent Encoder）
这是 World4Drive 的核心创新模块，解决"纯 RGB 学不出好隐特征"的痛点。它由三个并行子模块组成：
| 子模块 | 技术栈 | 输出 | 作用 |
|---|---|---|---|
| 语义编码 | Grounded-SAM → 伪语义标签 → 交叉熵损失 | 语义嵌入 $e_{sem}$ | 让隐表征理解"这是车、那是路" |
| 3D 空间编码 | Metric3D v2 → 度量深度 → 反投影至 3D → 正弦位置编码 + MLP | 3D 位置嵌入 $e_{pos}$ | 给模型 scale-aware 的空间感知 |
| 时序聚合 | 上一帧 $L_{t-1}$ → cross-attention → 当前帧 | 时序上下文 $e_{temp}$ | 保持时间一致性 |
三者拼接加 MLP 投影后得到 $L_t$，同时携带空间、语义、时序三种信息：
$$L_t = \text{MLP}(\text{Concat}(e_{sem}, e_{pos}, e_{temp})) \in \mathbb{R}^{D}$$
图 2：物理世界编码器的详细流程。Metric3D v2 输出的度量深度经前向投影（Forward Projection）得到 3D 点云坐标 $p={x,y,z}$。与 PETR 的 post-projection 不同，此处直接在 3D 空间做位置编码，赋予模型绝对尺度感知。Grounded-SAM 生成的伪语义标签只保留高置信度区域，规避噪声传播。
前向投影的关键公式——给定像素 $(u,v)$ 及其深度 $d$，3D 坐标计算为：
$$p = K^{-1} \cdot [u \cdot d,\; v \cdot d,\; d]^{\top}$$其中 $K \in \mathbb{R}^{3 \times 3}$ 是相机内参矩阵。坐标经正弦位置编码（sin/cos 不同频率）和两层 MLP 后得到 $e_{pos}$：
$$e_{pos} = \text{MLP}(\gamma(p)), \quad \gamma(p)=[\sin(2^0\pi p), \cos(2^0\pi p), \dots, \sin(2^{L-1}\pi p), \cos(2^{L-1}\pi p)]$$意图编码器（Intention Encoder）
借鉴 VADv2 的词表思想，意图编码器将一个 8192 条轨迹的候选词表 $\mathcal{V}$ 按命令类型（左转/右转/直行）做 k-means 端点聚类，每类提取 6 个意图中心，共 18 个意图 token：
$$\{[a_k^{(l)}, a_k^{(r)}, a_k^{(s)}]\}_{k=1}^{6} = \text{k-means}(\mathcal{V}_{\text{left}}, \mathcal{V}_{\text{right}}, \mathcal{V}_{\text{straight}})$$这 18 个 token 经自注意力交互，得到意图感知的多模态规划查询 $Q_{plan} \in \mathbb{R}^{K \times D}$，其中 $K=18$。$Q_{plan}$ 的优势在于：它把"多模态意图"显式编码成可学习的 query，而非隐式地依赖数据分布去隐式建模。
意图感知世界模型（Intention-aware World Model）
得到 $L_t$ 和 $Q_{plan}$ 后，模型执行两步操作：
步骤 1：意图条件未来预测。对每一个意图 $k$，用 cross-attention 将 intent token 与隐表征融合，预测 n=3 帧后的未来隐状态：
$$L^{(k)}_{t+n} = \text{CrossAttention}(Q^{(k)}_{future}, \text{Concat}(A_k, L_t))$$其中 $A_k$ 是第 k 个意图对应的 action token，$Q_{future}$ 是从 $Q_{plan}$ 派生出的未来查询。这一步在隐空间中完成，无需解码为像素或 occupancy，计算代价远低于显式世界模型。
步骤 2：World Model Selector（世界模型选择器） —— 这是全文最具巧思的设计。对每个意图 $k$，计算预测隐表征 $L^{(k)}{t+n}$ 与真实未来隐表征 $L{t+n}$ 的距离：
$$d_k = \|L^{(k)}_{t+n} - L_{t+n}\|_2$$取最小距离对应的意图为最优模态 $j = \arg\min_k d_k$，用其重建损失做自监督：
$$\mathcal{L}_{recon} = \|L^{(j)}_{t+n} - L_{t+n}\|_2^2$$同时训练一个 ScoreNet $S(\cdot)$ 对 K 条意图打分，用 focal loss 让最优意图的分数最高：
$$\mathcal{L}_{score} = \sum_{k=1}^K \text{FL}(S(L_t, A_k), \mathbb{1}_{k=j})$$推理时直接选分数最高的轨迹输出，无需再计算 $d_k$。
图 3：World Model Selector 工作流程。K 条意图各自产生一条预测轨迹（上），World Model Selector 选取与真实未来最匹配的那条（绿色），ScoreNet 在所有意图上输出置信度分数。
轨迹解码与规划代价
最优意图 $j$ 确定后，对应的 action token $A_j$ 经 MLP 解码器输出最终轨迹 $\tau_j = {\Delta x_{1:T}, \Delta y_{1:T}}$。规划损失直接对标专家轨迹 $\tau_{gt}$：
$$\mathcal{L}_{traj} = \text{L1}(\tau_j, \tau_{gt}) + \lambda \cdot \text{col}(\tau_j)$$其中 $\text{col}(\tau_j)$ 是碰撞代价项（可微碰撞检测）。完整训练损失四项加权求和：
$$\mathcal{L} = \alpha \mathcal{L}_{sem} + \beta \mathcal{L}_{recon} + \gamma \mathcal{L}_{score} + \eta \mathcal{L}_{traj}$$超参数默认 $\alpha=0.1, \beta=1.0, \gamma=0.5, \eta=1.0$。注意 $\mathcal{L}{sem}, \mathcal{L}{recon}, \mathcal{L}{score}$ 三项均不需要任何人类标注——这是"无感知标注"的核心技术基础。$\mathcal{L}{traj}$ 是唯一用到 expert trajectory 的项，但即使没有它，模型也能通过世界模型自监督学习场景演化，只是规划精度会下降。
📐 数学形式化：从观测到动作的完整推导
World4Drive 的完整前向过程可以形式化为一个隐条件马尔可夫决策过程：
$$P(\tau | I_{1:T}, cmd) = \int \prod_{t=1}^T P(L_t | I_{1:t}) \cdot \sum_{k=1}^K \pi(k | L_t, cmd) \cdot P(\tau | L_t, A_k) \, dL$$其中第一项 $P(L_t | I_{1:t})$ 是物理世界编码器的后验估计，第二项 $\pi(k | L_t, cmd)$ 是意图策略（ScoreNet），第三项 $P(\tau | L_t, A_k)$ 是轨迹解码器。
训练视角：整体优化可以看作一个多任务自监督 + 单任务监督的联合学习：
$$\min_{\theta} \mathbb{E}_{(I, \tau_{gt}) \sim \mathcal{D}}\left[ \underbrace{\alpha \text{CE}(\hat{y}_{sem}, y_{sem})}_{\text{语义伪标签}} + \underbrace{\beta \|L^{(j)}_{t+n} - L_{t+n}\|^2}_{\text{隐空间自监督}} + \underbrace{\gamma \text{FL}(S, \mathbb{1}_{k=j})}_{\text{意图选择}} + \underbrace{\eta \text{L1}(\tau_j, \tau_{gt})}_{\text{轨迹监督}} \right]$$推理视角：推理时不需 Grounded-SAM 和 Metric3D，只需已训练好的物理世界编码器处理图像，意图编码器离散搜索 18 个意图，ScoreNet 选出最优后输出轨迹。整个过程可在 单张 3090 上实时运行（<50ms 单帧）。
🎯 实验亮点：又快又安全，夜间雨天尤其猛
在 nuScenes（开环）和 NavSim（闭环）上，World4Drive 在"无感知标注"组里双双登顶。
开环 nuScenes：相比 LAW（无标注版），平均 L2 从 0.61m 降到 0.50m（-18.1%），平均碰撞率从 0.30% 降到 0.16%（-46.7%）——而且这是所有方法里（含需要标注的）最低的碰撞率。
收敛速度：达到同等性能，训练 epoch 只要 LAW 的 1/3.75，峰值性能还高 1.18 倍。视觉基础模型先验的价值在这里体现得淋漓尽致——不用从零学物理，等于站在巨人肩膀上。
鲁棒性是最大惊喜。在夜间和雨天这种光照/几何都崩坏的条件下，World4Drive 的碰撞率比 LAW 分别降了 63.7% 和 68.8%。作者的解释很到位：时序自监督在夜间/雨天最容易失效（像素都不一致了），而引入深度 + 语义先验后，模型有"更高维的物理理解"，对光度不一致更鲁棒。
消融的三个关键洞察值得记住：
- 意图单干反而更差：只有多模态意图、没有世界模型评估（row 5），碰撞率 0.36%，比基线还烂——意图必须配世界模型，否则多选一变成乱选；
- 语义先验主要降碰撞（理解障碍物），空间先验主要降 L2（贴轨迹）；
- 视觉基础模型先验 + 意图两者都加才最优，缺一不可。
🧠 个人思考：世界模型当裁判，是端到端去标注化的正解
World4Drive 给我最大的启发，是它把世界模型的角色从"生成器"变成了**“裁判”**。这一两年世界模型热潮里，大家都在拼"未来画面/未来 occupancy 生成得多逼真"，但 World4Drive 反其道而行——它根本不生成画面，只在隐空间里预测 + 比距离，然后用这个隐距离去筛选多模态轨迹。这背后是个很重要的判断：端到端规划不需要"看得见的未来"，只需要"可比较的未来"。隐空间预测远比像素级生成便宜，又足以分辨"哪条意图更符合物理演化"——这种"够用就好"的工程哲学，反而比堆生成质量更贴近落地。
第二个亮点是视觉基础模型当"物理教师"。Metric3D 给深度、Grounded-SAM 给语义，本质上是把 SAM、深度估计这些大规模预训练的成果，以伪标签 + 辅助损失的形式蒸馏进驾驶模型。这比直接拿 SAM 做在线推理省得多，也解释了为什么收敛能快 3.75 倍——模型不用从原始像素里硬悟出"这是车、那是路、离我多远"，省下的就是收敛时间。夜间雨天的巨大提升也证明，这种先验给的鲁棒性是真本事，不是刷分技巧。
第三，意图 × 世界模型这个乘法关系很有教育意义。消融里"只有意图没有世界模型"反而更差，这是个反直觉但深刻的结论：多模态候选越多，越需要一个靠谱的评估器，否则就是放大不确定性。这和 VADv2 的词表 + 打分、DiffusionDrive 的扩散采样是一个道理——生成不是难点，选择才是。World4Drive 用世界模型做选择器，给"如何选"提供了一个物理可解释的答案：选那个"想象中的未来"和"真实未来"最像的。
不过也有几点保留意见。其一，虽然号称"无感知标注"，但其实依赖 Metric3D、Grounded-SAM 这些基础模型——这只是把标注成本转嫁给了预训练，并不是真的零成本，而且这些伪标签的质量上限决定了模型上限。其二，World4Drive 的世界模型只在隐空间预测固定 n=3 帧后，没有显式的多步滚动，对长时序交互的建模可能不够；相比之下 GAIA、Vista 的视频生成在长时序上更有想象力。其三，NavSim 闭环 PDMS=85.1，距离 DiffusionDrive（88.1）还有差距，说明在闭环动态场景下，纯隐空间世界模型对复杂交互的捕获仍弱于显式扩散规划。
但瑕不掩瑜。World4Drive 在 ICCV 2025 给出了一条清晰的技术路线：用基础模型先验懂物理、用意图感知处理多模态、用世界模型当裁判。它不是最强的端到端，但可能是"去标注化"这条路上最具实操价值的一步——毕竟，谁能最先摆脱对昂贵标注的依赖，谁就能在数据规模这场战争里跑得最远。
📊 实验结果全览：nuScenes 开环 + NavSim 闭环
nuScenes 开环规划
| 方法 | 标注需求 | L2 (m) ↓ | 碰撞率 (%) ↓ | 收敛 epoch | 训练加速 |
|---|---|---|---|---|---|
| VA 基线 | |||||
| UniAD | 需要 | 0.68 | 0.28 | — | — |
| VAD | 需要 | 0.64 | 0.22 | — | — |
| 世界模型（无感知标注） | |||||
| LAW (w/o label) | 无 | 0.61 | 0.30 | 96 | 1× |
| World4Drive (w/o label) | 无 | 0.50 | 0.16 | 26 | 3.75× |
| 世界模型（有感知标注） | |||||
| LAW (w/ label) | 有 | 0.55 | 0.21 | 90 | — |
| DriveDreamer | 有 | 0.60 | 0.26 | — | — |
| World4Drive (w/o label) | 无 | 0.50 | 0.16 | — | — |
World4Drive 在完全不使用感知标注的条件下，平均 L2 比 LAW（无标注版）降低 18.1%（0.61→0.50m），平均碰撞率降低 46.7%（0.30→0.16%）。更惊人的是，这个碰撞率甚至低于所有需要感知标注的方法——意味着去标注化没有牺牲安全，反而提升了安全。
NavSim 闭环
| 方法 | PDMS ↑ | 碰撞率 (%) ↓ | 驾驶得分 ↑ |
|---|---|---|---|
| VAD (有标注) | 62.5 | 14.2 | 70.5 |
| VADv2 (有标注) | 81.0 | 6.8 | 85.2 |
| DiffusionDrive (有标注) | 88.1 | 3.0 | 90.1 |
| World4Drive (无标注) | 85.1 | 4.5 | 87.5 |
在闭环 NavSim 上，World4Drive 超越了 VAD、VADv2，仅次于顶尖的扩散规划方法 DiffusionDrive。考虑到它完全不需要感知标注，这个成绩含金量极高。
消融实验核心洞察
| 配置 | 语义先验 | 空间先验 | 意图 | 世界模型 | L2 (m) | 碰撞率 (%) |
|---|---|---|---|---|---|---|
| 1 | ✗ | ✗ | ✓ | ✗ | 0.70 | 0.42 |
| 2 | ✓ | ✗ | ✓ | ✗ | 0.63 | 0.32 |
| 3 | ✗ | ✓ | ✓ | ✗ | 0.58 | 0.38 |
| 4 | ✓ | ✓ | ✗ | ✓ | 0.55 | 0.25 |
| 5 | ✓ | ✓ | ✓ | ✗ | 0.56 | 0.36 |
| 6 | ✓ | ✓ | ✓ | ✓ | 0.50 | 0.16 |
三个关键结论：(1) 意图必须搭配世界模型（row 5 vs row 6）——没有世界模型当评估器，多模态意图反而退化；(2) 语义先验主要降碰撞、空间先验主要降 L2，二者互补（row 2 vs row 3）；(3) 视觉基础模型先验（语义+空间）让世界模型学到更好的隐表征（row 4 → row 6）。
鲁棒性：夜间与雨天的表现
| 场景 | LAW 碰撞率 | World4Drive 碰撞率 | 降幅 |
|---|---|---|---|
| 白天晴 | 0.28% | 0.15% | -46.4% |
| 夜间 | 0.52% | 0.19% | -63.7% |
| 雨天 | 0.45% | 0.14% | -68.8% |
夜间/雨天是隐空间自监督最容易崩坏的场景（光度变化剧烈），但 World4Drive 借助 Metric3D 与 Grounded-SAM 的物理先验，保持了高鲁棒性。
图 4：定性结果对比。左列 RGB 输入，中列 LAW 轨迹（偏离车道 / 碰撞风险），右列 World4Drive 轨迹（贴车道 + 安全距离保持）。在夜间和雨天场景中，World4Drive 预测的轨迹更贴近道路拓扑，碰撞风险显著降低。
🔄 与世界模型工作的系统对比
World4Drive 处于"驾驶世界模型 × 端到端规划"交叉口的独特位置。下表把它和几类代表性工作进行对比：
| 方法 | 世界模型类型 | 预测空间 | 意图建模 | 使用标注 | 用于规划 |
|---|---|---|---|---|---|
| DriveDreamer | 图像生成式 | 像素空间（视频） | ✗ | 感知标注 | ✓（闭环微调） |
| GAIA-1 | 图像生成式 | 像素空间（视频） | 文本条件 | 感知标注 + 文本 | ✗（仅生成） |
| Vista | 图像生成式 | 像素空间（视频） | ✗ | 感知标注 | ✗（仅生成） |
| NIFF | occupancy 预测式 | 3D occupancy | ✗ | 感知标注 | ✓（代价函数） |
| LAW | 隐空间式 | 隐空间（无先验） | ✗ | 无感知标注 | ✓（隐距离） |
| World4Drive | 隐空间式（带先验） | 隐空间（物理先验） | ✓（K个意图） | 无感知标注 | ✓（隐距离+ScoreNet） |
与 DriveDreamer 的对比：DriveDreamer 是第一个尝试用视频生成做驾驶规划的方案，但它在像素空间做预测，计算代价高昂（单帧生成 >500ms），且需要感知标注。World4Drive 把预测移到隐空间，计算量降低 2-3 个数量级的同时，用物理先验弥补隐空间缺失的几何-语义信息。
与 NIFF 的对比：NIFF 在 3D occupancy 空间做预测，空间显式性更强，但 occupancy 标注成本极高，而且预测的 occupancy 帧需要复杂的代价函数转换才能用于规划。World4Drive 的隐空间预测 + 隐距离直接作为代价，端到端程度更高。
与 LAW 的对比：LAW 是 World4Drive 最直接的基线——两者都是隐空间世界模型。但 LAW 从纯 RGB 学隐特征，缺乏空间几何和语义理解，导致收敛慢（96 epoch vs 26 epoch）、性能差（碰撞率 0.30 vs 0.16）。World4Drive 的改进点在于引入了物理先验编码器和意图感知机制，解决了 LAW 的两个核心瓶颈。
与 GAIA-1 / Vista 的对比：这类大规模生成式世界模型生成视频质量惊艳，但生成速度太慢、消耗太大，不适合直接用于规划。它们更适合作为仿真引擎或数据增强工具，而 World4Drive 的设计哲学是"最小生成、够用就好"——不在规划管线里做视频生成。
🌟 对工业落地的启示
World4Drive 的工程哲学值得单拎出来讲三点：
“先验蒸馏"而非"从头学习”。直接从像素学习物理规律（空间、语义、时序）需要天文数字的数据。World4Drive 的做法是用预训练的基础模型（Metric3D、Grounded-SAM）产生可信的伪标签，然后以辅助损失蒸馏进驾驶模型。这本质上是把预训练的大模型压缩成一个驾驶专精的小模型——训练时依赖大模型的先验，推理时完全脱离它们。
隐空间世界模型 vs 生成式世界模型。2024-2025 年驾驶世界模型的主流是视频生成（DriveDreamer、GAIA、Vista），但 World4Drive 证明了：对于"辅助规划"这个目标，隐空间预测足够了。这不只是效率的选择，更是一个认知选择——不要为了"看起来好看"而做超出任务需求的生成。
“无标注"不等于"白嫖”。World4Drive 名为无感知标注，实则依赖了 Metric3D（大规模深度数据预训练）和 Grounded-SAM（大规模分割数据预训练）。这其实是数据效率的转移而非消灭——把下游感知标注的压力转移给了上游基础模型的预训练。从生态系统的角度看，这比每个自动驾驶公司都自己标百万级 3D 框要合理得多。