🎯 核心贡献速览
- 识别了当前 WAM 的表征瓶颈：标准训练仅监督输出端，中间承载世界知识的表征只能作为输出拟合的副产品被间接塑造
- 提出 ReWorld 框架：沿三个互补维度直接塑造中间表征——未来预测监督（Video DiT）、跨模态对齐（Action DiT）、硬负样本排斥（安全感知）
- 系统性对比分析：在统一驾驶视频生成协议下对比了 REPA、SRA、Self-Flow 等现有表征学习方法，揭示了它们为何在长时序驾驶视频中表现不佳
- 全维度实验验证：在 nuScenes（FVD 61.9，-23.9%）和 NAVSIM（PDMS 90.4，+1.3）上取得 SOTA
📄 论文信息
- 标题：ReWorld: Learning Better Representations for World Action Models
- 作者：Tianze Xia, Lijun Zhou, et al.（华科 + 小米汽车，共 12 位）
- arXiv：2606.27504（2026 年 6 月）
- 发表：CVPR 2026
- 一句话总结：首个面向自动驾驶 WAM 的表征学习框架，直接优化 Video/Action DiT 的中间表征，在视频生成质量、训练收敛速度和闭环规划安全三维度同步提升。
🤔 要解决什么问题？
核心矛盾：WAM 的表征瓶颈
当前 WAM（以 DriveLaW 为代表）采用级联式双 DiT 架构,将未来视频生成与轨迹规划统一在同一框架中。然而，标准训练范式存在结构性缺陷——仅监督两个模块的输出端（Video DiT 受视频生成损失监督，Action DiT 受轨迹规划损失监督），中间承载世界知识的表征只能作为拟合输出损失的副产品被间接塑造。这种"重输出、轻中间"的策略导致三个连锁问题：
| 问题 | 根因 | 具体后果 |
|---|---|---|
| 生成与规划能力脱钩 | Video DiT 仅受 FVD 监督，Action DiT 仅受轨迹 L2 损失 | 模型能生成逼真未来帧但规划不提升，表征缺乏任务驱动 |
| 世界知识传递低效 | 交叉注意力读取视频特征但无约束保证状态被吸收 | 规划表征中的世界信息是"路过"而非"继承"的 |
| 安全信号完全缺失 | 视频生成和模仿学习无一能区分安全与危险轨迹 | 两条几何接近的轨迹在闭环安全性上可能天差地别 |
现有表征学习方法迁移困难
| 方法 | 核心机制 | 外部编码器 | 额外开销 | 支持视频时序 | 支持规划 |
|---|---|---|---|---|---|
| REPA (Yu et al., 2024) | 与外部语义编码器对齐中间特征 | 是 | ~1.7× | 否（逐帧编码） | 否 |
| SRA (Jiang et al., 2025) | 跨层自对齐，无需编码器 | 否 | ~1.4× | 部分 | 否 |
| Self-Flow (Chefer et al., 2026) | 自蒸馏 flow 预测目标 | 否 | ~1.4× | 部分 | 否 |
| ReDi (Kouzelis et al., 2026) | Token 级别层间对齐 | 否 | ~1.6× | 否 | 否 |
| ReWorld (Ours) | 三元表征监督（预测+对齐+排斥） | 否 | 1.003× | 是 | 是 |
ReWorld 的破局思路
不依赖外部编码器或教师模型，沿着三个互补维度直接塑造中间表征：① 在 Video DiT 中间层施加未来预测监督，让世界表征从形成之初就承载场景动态结构；② 将 Action DiT 的表征与视频世界表征跨模态对齐，确保世界知识被忠实继承；③ 通过硬负样本监督在安全关键边界处塑造判别性表征，让模型能显式区分安全与危险轨迹。
🧠 方法详解
预备知识：WAM 架构
ReWorld 基于 DriveLaW 的级联式双 DiT 设计，视频生成与轨迹规划在共享潜空间中统一：
Video DiT（2B 参数）：以 LTX-Video 预训练权重初始化，负责动作条件下的未来视频生成。给定历史观测 $x_{\leq 0}$、自车运动学 $s_{\leq 0}$ 和导航指令 $g$，spatiotemporal VAE 将驾驶片段编码为潜变量 $z_0 = E(x_{\leq 0})$。采用 rectified-flow 参数化，训练目标为预测从噪声到数据的 velocity 场：
$$ \mathcal{L}_{\text{Gen}} = \mathbb{E}_{z_0, t, \epsilon_z} \left[ \| v_\theta^z(z_t, t, c^v) - (\epsilon_z - z_0) \|_2^2 \right], \quad z_t = (1-t)z_0 + t\epsilon_z $$Action DiT（133M 参数）：负责轨迹规划，通过交叉注意力从 Video DiT 缓存的中间特征 $\mathcal{F} = {f^{(b)}}{b=1}^{B}$ 读取世界知识。轨迹 $\tau^{\text{exp}} = [(x\ell, y_\ell, \psi_\ell)]_{\ell=1}^{L}$ 归一化为 $a_0$，训练目标：
$$ \mathcal{L}_{\text{FM}} = \mathbb{E}_{a_0, t, \epsilon_a} \left[ \| v_\phi^a(a_t, t, c^a, \mathcal{F}) - (\epsilon_a - a_0) \|_2^2 \right] $$标准训练仅联合优化输出端：$\mathcal{L}{\text{Std}} = \mathcal{L}{\text{Gen}} + \mathcal{L}_{\text{FM}}$，中间承载世界知识的表征从未被直接优化。
Stage 1：Future-Predictive World Representations
在 Video DiT 的中间层（默认第 8 层）添加轻量级预测头，直接预测 flow-matching velocity target：
$$ \hat{v}_t^{(l)} = q_l(h_t^{(l)}), \quad \mathcal{L}_{\text{Mid}} = \sum_{l \in \mathcal{S}} \mathbb{E} \left[ \| \hat{v}_t^{(l)} - (\epsilon_z - z_0) \|_2^2 \right] $$Stage 1 总目标：$\mathcal{L}{\text{Video}} = \mathcal{L}{\text{Gen}} + \lambda_{\text{Mid}} \mathcal{L}_{\text{Mid}}$
双重作用——训练时加速 + 推理时精炼：
- 训练时：中间监督迫使中间层承载未来预测信息，加速收敛约 2 倍——在 60k 步达到基线 120k 步的 FVD，且无需外部编码器或教师模型
- 推理时（自引导）：训练后浅层预测 $v_i$ 捕捉粗略未来趋势，深层 $v_f$ 产生更完整速度场。利用跨层差异进行外推精炼：$v_w = v_i + \gamma(v_f - v_i)$，其中 $\gamma$ 为外推系数（默认 1.4）。调度器使用 $v_w$ 替代 $v_f$ 推进去噪轨迹
这种"训练与推理共享同一设计"的协同效应，是 ReWorld 能以近乎零额外成本同时提升训练效率和生成质量的关键。
Stage 2：World-Grounded Action Representations
Action DiT 的第 $k$ 个交叉注意力层中，动作 token $i$ 的 post-attention 状态 $a_i^{(k)}$ 需对齐其所关注的视频 readout $r_i^{(k)} = \sum_j \alpha_{ij}^{(k)} v_j^{(k)}$：
$$ \mathcal{L}_{\text{align}} = \sum_k \sum_i \left[ 1 - \cos\left( a_i^{(k)}, \text{sg}(r_i^{(k)}) \right) \right] $$冻结 Video DiT，仅更新 Action DiT：$\mathcal{L}{\text{act}}^{(2)} = \mathcal{L}{\text{FM}} + \lambda_{\text{align}} \mathcal{L}{\text{align}}$（默认 $\lambda{\text{align}} = 0.05$，在第 12 个交叉注意力层施加）
直觉：如果不加对齐约束，action token 的 post-attention 状态可能主要继承来自其他 action token 或位置编码的信息，而非视频世界特征。余弦相似度对齐迫使 action state 在表征方向上与 video readout 一致——本质上是在说"规划模块中的每个状态，都应当在语义方向上与它所看到的视频场景对齐"。
Stage 3：Safety-Aware Action Representations
硬负样本构造：每个场景采样 64 条候选轨迹，NAVSIM PDM 评分，选分数 < 0.6 且与专家轨迹几何最近的一条作为硬负样本 $\tau^{\text{neg}}$。
RDE 损失：在 $\Delta$ 表征（$[\widetilde{\Delta x}\ell, \widetilde{\Delta y}\ell, \sin\psi_\ell, \cos\psi_\ell]$）中最大化预测轨迹与硬负样本的距离：
$$ \mathcal{L}_{\text{RDE}} = -\frac{1}{|\mathcal{V}|} \sum_{b \in \mathcal{V}} \frac{1}{L} \sum_{\ell=1}^{L} \frac{1}{4} \sum_{d=1}^{4} \left| \Delta(\hat{\tau}_b)_\ell^{(d)} - \Delta(\tau_b^{\text{neg}})_\ell^{(d)} \right| $$联合微调双 DiT：$\mathcal{L}{\text{act}}^{(3)} = \mathcal{L}{\text{FM}} + \lambda_{\text{RDE}} \mathcal{L}_{\text{RDE}}$
架构流程图
计算效率
| 方法 | 归一化训练成本 | 外部依赖 |
|---|---|---|
| Vanilla Flow | 1.00× | 无 |
| Self-Flow | ~1.4× | 无 |
| SRA | ~1.4× | 无 |
| ReWorld | 1.003× | 无 |
| REPA w/ DINOv2 | ~1.7× | DINOv2 |
| ReDi | ~1.6× | 无 |
🔬 实验与结果
视频生成质量（nuScenes validation）
| 方法 | FVD ↓ |
|---|---|
| DriveGAN | 502.3 |
| DriveDreamer | 452.0 |
| DrivingGPT | 142.6 |
| Vista | 89.4 |
| Epona | 82.8 |
| DriveLaW | 81.3 |
| ReWorld | 61.9 |
FVD 从 81.3 降至 61.9，相对提升 23.9%。这一增益来自中间预测监督（让表征从形成之初就拥有未来场景结构）与推理时自引导（利用浅-深差异精炼生成）的协同作用。
闭环规划（NAVSIM Navtest）
| 方法 | NC ↑ | DAC ↑ | TTC ↑ | Comf. ↑ | EP ↑ | PDMS ↑ |
|---|---|---|---|---|---|---|
| UniAD | 97.8 | 91.9 | 92.9 | 100 | 78.8 | 83.4 |
| DiffusionDrive | 98.2 | 96.2 | 94.7 | 100 | 82.2 | 88.1 |
| Epona | 97.9 | 95.1 | 93.8 | 99.9 | 80.4 | 86.2 |
| PWM | 98.6 | 95.9 | 95.4 | 100 | 81.8 | 88.1 |
| WorldDrive | 98.4 | 96.8 | 95.2 | 100 | 83.3 | 89.0 |
| DriveLaW | 99.0 | 97.1 | 96.7 | 100 | 81.3 | 89.1 |
| ReWorld | 99.1 | 98.2 | 97.7 | 99.8 | 82.0 | 90.4 |
PDMS 从 89.1 提升至 90.4（+1.3），无需任何 RL 后训练或后处理。在所有世界模型方法中取得最优 NC（99.1）、DAC（98.2）和 TTC（97.7），表明世界接地与安全感知的动作表征直接转化为更安全、更合规的闭环行为。对比最优的 WorldDrive（89.0）和 DriveLaW（89.1），ReWorld 在安全指标上全面领先。
训练收敛速度与表征学习方法系统性对比
从零训练时，ReWorld 在约 60k 步达到与 Vanilla Flow 120k 步相当的 FVD（270.4 vs 304.1），加速约 2 倍。这一加速来自中间监督在训练早期即引导网络形成有预测意义的表征，而不需要任何外部编码器或教师模型。
表征学习方法对比（from-scratch 120k steps, LTX-Video 框架）：
| 方法 | 外部表征 | FVD ↓ |
|---|---|---|
| Vanilla Flow | 否 | 304.1 |
| SRA | 否 | 296.9 |
| SRA2 | 否 | 295.2 |
| Self-Flow | 否 | 283.3 |
| ReWorld | 否 | 270.4 |
| REPA w/ DINOv2 | 是 | 295.9 |
| REPA w/ VideoMAEv2 | 是 | 328.3 |
| REPA w/ DepthAnything3 | 是 | 319.4 |
| REPA w/ V-JEPA2 | 是 | 331.6 |
关键发现：外部对齐方法（REPA 系列）在驾驶视频生成中表现不佳甚至低于基线。原因有三：第一，DINOv2、VideoMAEv2 等编码器主要捕获外观语义，未针对多秒驾驶预测所需的长程时序动态优化；第二，对齐到冻结的外部空间引入竞争梯度，干扰视频模型自身的时空表征学习；第三，视频场景下逐帧运行外部编码器的计算开销不可忽视（~1.7×）。
值得注意的是，REPA w/ VideoMAEv2（理论上含时序信息）反而取得 328.3 的 FVD（比基线更差），说明简单引入时序编码器不仅无益反而有害——不匹配的对齐空间会破坏视频模型内部的表征组织。
消融实验
规划组件增量消融：
| 配置 | PDMS ↑ |
|---|---|
| DriveLaW Baseline | 89.1 |
| + Align only | 89.5 (+0.4) |
| + RDE only | 89.8 (+0.7) |
| + Align + RDE | 90.4 (+1.3) |
中间监督层选择（FVD）：
| 监督层 | 第 4 层 | 第 8 层 | 第 12 层 | 第 16 层 |
|---|---|---|---|---|
| FVD ↓ | 68.4 | 61.9 | 64.7 | 66.2 |
自引导系数 $\gamma$ （FVD）：
| $\gamma$ | 0.6 | 1.0 | 1.2 | 1.4 | 1.6 | 2.0 |
|---|---|---|---|---|---|---|
| FVD ↓ | 69.8 | 65.3 | 63.1 | 61.9 | 63.8 | 68.9 |
RDE 权重 $\lambda_{\text{RDE}}$ （PDMS）：
| $\lambda_{\text{RDE}}$ | 0.0 | 0.02 | 0.04 | 0.06 | 0.08 |
|---|---|---|---|---|---|
| PDMS ↑ | 89.5 | 89.9 | 90.4 | 90.1 | 89.6 |
$\lambda_{\text{RDE}} = 0.04$ 取得最佳 PDMS（90.4），过小则排斥信号不足，过大会与模仿学习目标（$\mathcal{L}_{\text{FM}}$ 吸引到专家轨迹）产生竞争梯度，导致 PDMS 回退。
消融实验关键结论：Align 和 RDE 两种损失在规划维度上互补——Align 提升 world knowledge 的传递效率（偏"认知"），RDE 注入安全边界的判别性（偏"安全"）。两者叠加产生超加性增益（0.4 + 0.7 < 1.3），证明它们作用于表征的不同维度且相互促进。
定性结果：图 3 展示了 ReWorld 与 DriveLaW 在四个不同运动速度场景下的视频生成定性对比。(a) 启动场景中两者差异不大，均生成合理帧；(b) 速度增加后，ReWorld 保持更清晰的道路标线、更完整的护栏结构，而 DriveLaW 已出现模糊；(c) 持续高速场景中，DriveLaW 出现结构漂移和色调偏移，ReWorld 保持真实色调和稳定远距离车辆；(d) 极端高速场景中，DriveLaW 出现已通过物体的残留和路边元素消失，ReWorld 维持一致场景布局和准确目标连续性。这些优势直接源于未来预测中间监督——它让底层表征从形成之初就承载场景动态结构，而推理时自引导进一步精炼了高动态区域的生成质量。
实验设置细节
| 配置 | 详情 |
|---|---|
| 训练语料 | nuScenes（1000 段城市驾驶）+ nuPlan（~1200h 真实驾驶） |
| 视频采样率 | 8Hz（视频模型），2Hz（轨迹监督，NAVSIM 协议） |
| 优化器 | AdamW（lr=1e-5, weight decay=5e-2） |
| 推理参数 | 视频 30 步采样（自引导 γ=1.4），轨迹 5 步 |
| Stage 1 配置 | batch size 64，20k steps，从 LTX-Video 预训练权重继续训练 |
| Stage 2 配置 | batch size 128，6k steps，冻结 Video DiT，λ_align=0.05 |
| Stage 3 配置 | batch size 160，10k steps，联合微调，λ_RDE=0.04 |
💡 关键洞察与启发
表征即目标，而非副产品：当前 WAM 的架构设计已相当成熟——级联式双 DiT、flow-matching 训练、交叉注意力传递世界知识——真正的瓶颈在表征层面。中间表征仅作为输出损失的副产品被间接塑造。ReWorld 证明将中间表征直接作为优化目标是可行且高效的。这一思路不涉及架构改动，具有高度的正交性和通用性，可推广到其他 WAM 架构中。
视频生成的表征学习存在根本性不同：REPA 等图像扩散表征学习方法难以迁移到驾驶视频生成。根本原因在于维度差异——视频生成需同时建模外观语义、时序一致性和未来状态可达性，而现有图像级视觉编码器（无论是语义的 DINOv2 还是时序的 VideoMAEv2）都无法提供合适的对齐空间。REPA 系列全部低于甚至大幅低于基线的结果表明，不加甄别地"借用"外部表征空间反而有害。
自引导的双重价值——训练与推理的协同效应：中间监督在训练时加速约 2 倍收敛（无需外部编码器或教师模型），推理时通过浅-深层差异作为自引导信号精炼生成帧。这种"一石二鸟"的设计在几乎零额外成本下带来显著收益。其成功建立在中间监督创造的有意义跨层差异之上——这不是巧合，而是一种精心设计的正反馈循环。
安全信号的显式注入不可替代：仅靠模仿学习和视频生成无法区分安全与危险轨迹——两条几何接近的轨迹在闭环安全性上可能截然不同。通过离线构造硬负样本 + RDE 损失，ReWorld 在表征空间中显式推开安全边界处的轨迹。RDE 单独贡献 +0.7 PDMS，且在消融实验中与 Align 损失叠加产生超加性增益（0.4 + 0.7 < 1.3）。
Stage 3 的双向耦合是亮点设计：RDE 的梯度不仅更新 Action DiT，还通过共享计算图反向传播到 Video DiT 的视频特征。这意味着安全感知信号不仅塑造规划端的决策边界，还回溯性地重塑生成模块的世界表征，让视频模型本身学会生成"更安全"的未来场景——超越了"仅规划端考虑安全"的范式。
高效实用性——被低估的价值：ReWorld 增加的计算开销几乎可以忽略（1.003×），无需外部编码器、教师模型或 RL 后训练，在自动驾驶实际工程落地中具有压倒性优势。这证明表征学习在 WAM 领域依然有巨大的挖掘空间，且以最小的工程代价即可换取显著收益。
⚠️ 局限与开放问题
- 硬负样本质量依赖模拟器：RDE 的有效性高度依赖于 NAVSIM PDM 模拟器的评分质量。模拟器与现实之间的 gap 可能导致硬负样本选择偏差，在真实部署中需谨慎评估
- 三阶段训练协议的复杂度：虽然每阶段计算开销低，但三阶段串行训练增加了实验管理的复杂性，一个端到端的联合训练协议是值得探索的方向
- 外部表征方法的失败原因：REPA 系列方法为何在驾驶视频生成中全面失败？论文给出了一些分析（编码器不匹配、竞争梯度），但更深层的理论理解仍待建立
- 自引导的泛化性：自引导依赖于有意义的浅-深层差异——这一差异是否在所有数据集和架构中都存在？目前仅在一个架构（Video DiT with LTX-Video）上验证
- 代码未开源：截至论文发表，ReWorld 尚未开源，复现工作需要从 DriveLaW 基线开始自行实现
- NAVSIM 闭环 vs 真实闭环：NAVSIM 是非反应式（non-reactive）评测，不模拟其他交通参与者对 ego 行为的反应。ReWorld 在非反应式评测上的提升能否迁移到真实/反应式闭环中，仍需进一步验证
- 表征可解释性未探索：RDE 和 Align 损失塑造后的表征到底编码了什么？论文未提供表征可视化分析，这是后续值得深入的方向
🔗 延伸阅读
| 相关工作 | 关系 |
|---|---|
| DriveLaW (CVPR 2026) | ReWorld 的基线架构，级联式 WAM 设计 |
| REPA (NeurIPS 2024) | 扩散模型表征学习代表作，ReWorld 对比分析对象 |
| SRA / SRA2 | 自对齐表征学习方法 |
| BeyondDrive | RDE 损失的灵感来源 |
| WorldDrive / PWM | 同赛道 WAM 方法，Planner-only 改进 |
| Epona / DrivingGPT | 早期 WAM 工作，共享 backbone 范式 |
Paper: arXiv 2606.27504 | 本文基于 CVPR 2026 论文内容撰写