🤖 论文概览
| 项目 | 内容 |
|---|---|
| 标题 | Learning Vision-Language-Action World Models for Autonomous Driving |
| 作者 | Guoqing Wang, Pin Tang, Xiangxuan Ren, Guodongfang Zhao, Bailan Feng, Chao Ma |
| 单位 | 上海交通大学（MoE Key Lab）+ 华为中央研究院 |
| 论文编号 | arXiv 2604.09059 |
| 发表 | CVPR 2026 Findings |
| 项目主页 | https://vlaworld.github.io |
| 数据集 | nuScenes-GR-20K（自构建生成式推理数据集） |
📄 论文信息
- 论文标题：Learning Vision-Language-Action World Models for Autonomous Driving
- arXiv 链接：https://arxiv.org/abs/2604.09059（2604.09059，2026 年 4 月）
- 会议信息：CVPR 2026 Findings
- 核心团队：Guoqing Wang、Pin Tang、Xiangxuan Ren 等，上海交通大学 AI 研究院 MoE 实验室与华为中央研究院联合出品
- 项目页面：https://vlaworld.github.io（含可视化演示与补充视频）
🤔 要解决什么问题
端到端自动驾驶近年形成两大主流范式：VLA 模型和世界模型。VLA 模型（如 DriveVLM、OmniDrive）将感知、推理与控制统一在多模态大语言模型中，展示出强大的泛化能力，但它们缺乏对时序动态和全局世界一致性的显式建模——模型主要关注自车行为，忽略了周围交通参与者的运动模式。世界模型（如 DriveDreamer、Drive-WM）擅长通过生成未来帧来预测环境演化，但它们缺乏反思推理能力：可以模拟"将要发生什么"，却无法评估"这种未来是否安全、可行或理想"。
VLA-World 的核心洞察在于：一个理想的自动驾驶范式应该融合世界模型的时空建模能力和 VLA 的推理能力。它将人类驾驶的认知过程——先凭直觉想象场景的短期演化，再通过反思推理评估潜在风险——转化为一个可计算的"预测→生成→反思→规划"闭环。
人类驾驶员拥有一种天然的"先想象后反思"能力。当你驾车巡航时遇到前方突然刹车的前车，你会下意识地模拟"如果我保持当前速度会怎样"——脑海里瞬间闪过追尾的画面——然后立刻做出刹车或变道的决定。这种从直觉（intuition）到反思（reflection）的认知过程，正是当前自动驾驶系统所缺失的。
VLA-World 正是被这一认知过程所启发。它首先基于当前场景生成一个直觉性的短期轨迹（0.5s），然后用这个轨迹条件化地生成"如果这样开，世界会变成什么样"的未来帧，最后模型审视自己生成的未来帧，从中识别直觉可能忽略的风险——比如即将进入盲区的行人、正在减速的前车——并据此修正长期轨迹。
三大范式对比
| 维度 | VLA 模型 | 世界模型 | VLA-World（本文） |
|---|---|---|---|
| 时空建模 | 弱（缺乏显式动态建模） | 强（生成未来帧） | 强（轨迹条件生成 + 反思推理） |
| 推理能力 | 强（语言驱动的思考链） | 弱（仅生成，不评估） | 强（对自生成未来帧进行反思推理） |
| 世界一致性 | 弱 | 强 | 强（生成帧与轨迹联合优化） |
| 可解释性 | 文本推理链 | 生成图像可视化 | 生成图像 + 文本推理双重可解释 |
| 训练范式 | 行为克隆 / RL | 生成式预训练 | 三阶段：预训练→SFT→GRPO RL |
| 对未来的利用 | 隐式（无显式未来建模） | 生成但不评估 | 显式生成 + 显式反思 |
🧠 方法详解
形式化定义
考虑一个以固定时间步 $\Delta t$（如 0.5s）运行的驾驶智能体。在时刻 $t$，智能体接收多视图视觉观测和自车状态 $o_t = {I_t^{1:K}, S_t}$，其中 $I_t^k \in \mathbb{R}^{H \times W \times 3}$ 是第 $k$ 个相机的输入图像，$S_t \in \mathbb{R}^{d_s}$ 包含速度、加速度、横摆角速度等信息。智能体还接收导航目标 $g$（如左转/直行/右转）。未来轨迹定义为 BEV 坐标系下的路径点序列：
$$\tau_{t:t+H} = \{p_{t+1}, p_{t+2}, \dots, p_{t+H}\}, \quad p_{t+h} \in \mathbb{R}^2$$VLA-World 联合分布公式
VLA-World 将决策与想象统一在联合概率框架中：
$$\begin{split}p(\tau_{t:t+H}, x_{t+1} \mid o_{1:t}, g) = &\\&\underbrace{p(\tau_{t:t+H} \mid o_{1:t}, g)}_{\text{决策/策略}} \cdot \underbrace{p(x_{t+1} \mid o_{1:t}, \tau_{t+1})}_{\text{想象/世界模型}}\end{split}$$其中 $\tau_{t+1}$ 是短期轨迹，用于条件化下一帧的生成。传统的纯 VLA 模型只建模左因子，纯世界模型只建模右因子。
三步推理流程
步骤 1 —— 短期轨迹预测：基于历史观测 $o_{1:t}$ 和目标 $g$，模型预测初始的短期轨迹 $\hat{\tau}_{t:t+1}$（未来 0.5s 的路径点和行驶方向）。
步骤 2 —— 条件未来帧生成：以预测的短期轨迹为条件，模型生成下一时刻的想象帧：
$$\hat{x}_{t+1} \sim p_\psi(x_{t+1} \mid o_{1:t}, \hat{\tau}_{t:t+1})$$这一步将抽象的轨迹预测转化为具象的视觉想象——模型实际上在内部"草图"上绘制出如果按当前计划行驶，周围环境会如何变化。
步骤 3 —— 反思推理轨迹修正：模型将自生成的未来帧作为反思推理的显式提示，评估潜在风险并修正长期轨迹：
$$\tilde{\tau}_{t:t+H} = f_{\text{ref}}\!\left(o_{1:t}, \hat{x}_{t+1}, \hat{\tau}_{t:t+1}\right)$$最终输出 $\tilde{\tau}_{t:t+H}$ 既保留了初始预测的整体意图，又通过反思纠正了不安全或不一致的决策。
三阶段训练策略
第一阶段：视觉预训练（Pretraining）
目标：激活 VLA-World 的视觉生成能力。遵循 FSDrive 的对齐策略，但扩展为多视图一致性的条件生成。
给定多视图图像集 $I = {I^k_t}{k=1}^K$ 和描述目标视角或驾驶意图的指令 $L$，模型通过自回归下一 Token 预测来学习预测下一个视觉 Token 序列 $Q{t+1}^k$：
$$P(Q_{t+1}^k) = \prod_{i=1}^N P_\theta(q_i^k \mid q_{第二阶段：监督微调（SFT）
目标：通过模仿学习将驾驶概念知识注入基础模型。在多任务混合数据集（约 20k 样本）上训练，覆盖五个模块：
- 感知：从多视图图像检测动态智能体、估计 3D 位置、道路边界和可行驶区域
- 短期预测：根据当前感知结果预测 0.5s 后的路径点和行驶方向
- 条件生成：以预测轨迹为条件生成未来帧
- 反思推理：分析生成帧中的关键实体、运动线索和潜在交互
- 轨迹规划：输出高级驾驶动作和 3s 时域的精确路径点
这一阶段训练 12 个 epoch，学习率 $1 \times 10^{-4}$。
第三阶段：GRPO 强化学习（RL）
目标：通过群体相对策略优化（GRPO）探索类似人类的推理知识。基于 DeepSeek-R1 的 GRPO 算法，从当前策略采样 8 个候选响应，用精心设计的规则奖励函数评估质量：
$$R_{\text{all}} = \lambda_{\text{fmt}} \cdot R_{\text{fmt}} + \lambda_{\text{pred}} \cdot R_{\text{pred}} + \lambda_{\text{vis}} \cdot R_{\text{vis}} + \lambda_{\text{act}} \cdot R_{\text{act}} + \lambda_{\text{traj}} \cdot R_{\text{traj}}$$五类奖励分别约束：输出格式（$R_{\text{fmt}}$）、短期预测准确性（$R_{\text{pred}}$）、视觉 Token 合法性（$R_{\text{vis}}$）、高级动作 F1 分数（$R_{\text{act}}$）、轨迹的运动学一致性（$R_{\text{traj}}$）。使用 KL 散度正则化（系数 $1 \times 10^{-2}$）保留 SFT 行为，策略学习率 $1 \times 10^{-6}$。
理论分析：为什么 VLA-World 更优
论文从变分推理角度给出理论证明。纯 VLA 模型在隐式积分掉未来状态 $x_{t+1}$ 后，等价于优化策略边际分布的松散下界：
$$\log p^\star(\tau \mid o, g) \geq \mathbb{E}_{x \sim q}[\log p^\star(\tau, x \mid o, g) - \log q(x \mid o, \tau)]$$纯世界模型仅优化生成似然 $J_{\text{WM}}(\theta) = \mathbb{E}[-\log p_\theta(x_{t+1} \mid o, \tau)]$，生成质量与规划效用之间存在根本性脱节——高保真生成的碰撞场景对规划是灾难性的。
VLA-World 的梯度自然分解为策略梯度与世界模型梯度的和：
$$\nabla_\omega J(\omega) = \mathbb{E}\Big[\underbrace{\nabla_\omega \log \pi_\omega(\tau \mid o, g) \cdot R}_{\text{策略梯度}} + \underbrace{\nabla_\omega \log p_\omega(x \mid o, \tau) \cdot R}_{\text{世界模型梯度}}\Big]$$这意味着想象本身也被驾驶奖励 $R$ 直接优化——模型学会生成有助于安全决策的未来帧，而非仅仅是像素保真度高的帧。
🏗️ 架构流程总览
推理阶段流程
| 步骤 | 模块 | 输入 | 输出 | 说明 |
|---|---|---|---|---|
| 1 | 感知 | 多视图图像 $I_t^{1:K}$ + 自车状态 $S_t$ | 场景要素（目标位置/道路边界等） | 将原始像素转化为结构化空间语义 |
| 2 | 短期预测 | 感知结果 + 历史自车状态 | 0.5s 路径点 $\hat{\tau}_{t+1}$ + 行驶方向 | 预测短期内的自车运动 |
| 3 | 条件生成 | 场景上下文 + 短期轨迹 $\hat{\tau}_{t+1}$ | 下一帧图像 $\hat{x}_{t+1}$ | 将抽象轨迹转化为视觉想象 |
| 4 | 反思推理 | 自车状态 + 生成帧 $\hat{x}_{t+1}$ + 短期轨迹 | 风险评估 + 语义分析 | 量化安全裕度，识别潜在冲突 |
| 5 | 轨迹规划 | 反思推理结果 + 高级动作 | 3s 时域轨迹 $\tilde{\tau}_{t:t+H}$ | 输出修正后的安全轨迹 |
三阶段训练总览
| 阶段 | 目标 | 数据规模 | 基座模型 | 训练方式 | 损失/奖励函数 | 关键设计 |
|---|---|---|---|---|---|---|
| A. 预训练 | 激活视觉生成 | ~500k | Qwen2-VL-2B | 自回归 Next-Token | 交叉熵（VQGAN Token 预测） | 多视图条件化，扩展 FSDrive |
| B. SFT | 注入驾驶概念 | ~20k | Stage A checkpoint | 多任务监督学习 | 感知 + 生成 + 轨迹回归损失 | 五个子模块联合训练 |
| C. GRPO RL | 探索推理知识 | ~20k（同 SFT） | Stage B checkpoint | 群体相对策略优化 | $R_{\text{all}}$（5 项加权奖励） | 8 组采样，KL 正则化，$1 \times 10^{-6}$ LR |
🖼️ 图片解析
图 1：VLA-World 整体框架与三阶段训练概览。 该图展示了 VLA-World 的核心思想和训练流程。左侧是模型学习的三个阶段——视觉预训练激活生成能力、监督微调链接感知-生成-规划、GRPO 强化学习通过交互自生成未来来探索推理知识。右侧的散点图展示了 VLA-World 在碰撞率和 FID 两个维度上同时达到最优，突显其在未来生成和驾驶推理两方面的综合优势。
图 2：三大范式对比。 子图 (a) VLA 采用直接的"感知→推理→规划"流水线，缺乏对未来的显式建模；(b) 世界模型通过当前帧和动作生成未来帧，但不对生成结果进行推理评估；(c) VLA-World 在感知后先进行短期轨迹预测，以此条件生成未来帧，再对自生成的想象帧进行反思推理，最终输出修正后的轨迹。这一"预测-生成-反思"闭环是 VLA-World 区别于前两者的核心创新。
图 3：三阶段训练与推理管线。 详细展示了从输入（多视图图像+自车状态+导航目标）到输出（轨迹+动作+推理文本）的完整流程。阶段 (a) 视觉预训练在大量图文数据上激活生成能力；阶段 (b) SFT 通过五个子模块（感知/短期预测/生成/思考/规划）的联合训练注入驾驶概念知识；阶段 (c) GRPO RL 对完整输出序列进行群体优化，奖励函数覆盖格式、预测、视觉、动作和轨迹五大维度。
图 4：VLA-World 方法架构图。 展示了模型内部的详细网络设计，包括 VQGAN 编码器-解码器、Qwen-VL 骨干网络、多视图特征提取、短期轨迹预测头、条件生成模块以及反思推理模块之间的数据流。此图清晰地展示了视觉 Token 如何在感知、生成和推理模块间传递，形成一个端到端可微的统一框架。
图 5：三阶段数据样本。 子图 (a) 为预训练阶段的数据格式：当前多视图图像 + 坐标定义 + 指令 → 未来帧 Token（纯生成任务，无推理）。子图 (b)(c) 为 SFT 和 RL 阶段的数据格式：输入扩展了车辆动力学信息和导航指令，输出采用结构化的因果推理序列（<Perception> → <Prediction> → <Visual> → <Think> → <Action> → <Answer>），将生成与规划统一在同一序列中。
图 6：未来帧生成质量对比（VLA-World vs FSDrive）。 上行为 VLA-World 的生成结果，下行为 FSDrive。红色高亮区域显示：FSDrive 在预测时域内难以保持目标一致性，出现车辆几何变形和背景细节丢失等明显伪影。VLA-World 凭借轨迹感知的条件机制，有效保留了动态目标的刚体结构和场景清晰度——证明了短时预测成功缓解了纯 VLA 中常见的"幻觉"伪影。
图 7：3 秒轨迹预测对比。 VLA-World（上）与 FSDrive（下）在 3s 时域上的轨迹预测可视化。VLA-World 的预测轨迹（尤其是接近 3s 末端的部分）与真值偏差显著小于 FSDrive。这种提升源于 VLA-World 的"先预测未来状态→生成对应帧→反思推理修正"的闭环设计，而 FSDrive 缺乏这种反思迭代能力，导致长时域上出现累积漂移。
🔬 实验与结果
端到端轨迹规划结果（nuScenes）
| 方法 | LLM 基座 | L2 (m) 1s | L2 (m) 2s | L2 (m) 3s | L2 (m) Avg | Collision (%) Avg |
|---|---|---|---|---|---|---|
| ST-P3* (ECCV 22) | — | 1.33 | 2.11 | 2.90 | 2.11 | 0.71 |
| VAD* (ICCV 23) | — | 0.17 | 0.34 | 0.60 | 0.37 | 0.33 |
| UniAD* (CVPR 23) | — | 0.20 | 0.42 | 0.75 | 0.46 | 0.37 |
| BEV-Planner* (CVPR 24) | — | 0.16 | 0.32 | 0.57 | 0.35 | 0.34 |
| OccWorld (ECCV 24) | GPT3-like | 0.39 | 0.73 | 1.18 | 0.77 | 0.32 |
| Doe-1 (arXiv 24) | Lumina-mGPT-7B | 0.37 | 0.67 | 1.07 | 0.70 | 0.21 |
| OmniDrive* (CVPR 25) | LLaVA-7B | 0.14 | 0.29 | 0.55 | 0.33 | 0.30 |
| FSDrive* (NeurIPS 25) | Qwen2-VL-2B | 0.14 | 0.25 | 0.46 | 0.28 | 0.10 |
| VLA-World (Ours)* | Qwen2-VL-2B | 0.10 | 0.24 | 0.45 | 0.26 | 0.08 |
注：带 * 表示使用了未来帧信息的方法。指标采用 ST-P3 评测协议。
未来帧生成质量对比（nuScenes）
| 方法 | 类型 | 分辨率 | FID $\downarrow$ |
|---|---|---|---|
| DriveGAN (CVPR 21) | GAN | $256 \times 256$ | 73.4 |
| DriveDreamer (ECCV 24) | Diffusion | $128 \times 192$ | 52.6 |
| Drive-WM (CVPR 24) | Diffusion | $192 \times 384$ | 15.8 |
| GenAD (CVPR 24) | Diffusion | $256 \times 448$ | 15.4 |
| GEM (CVPR 25) | Diffusion | $576 \times 1024$ | 10.5 |
| Doe-1 (arXiv 24) | Autoregressive | $384 \times 672$ | 15.9 |
| FSDrive (NeurIPS 25) | Autoregressive | $128 \times 192$ | 10.1 |
| VLA-World (Ours) | Autoregressive | $128 \times 192$ | 9.8 |
VLA-World 在生成质量（FID 9.8）上超越所有对比方法，包括使用更高分辨率输入和扩散架构的方法。值得注意的是，VLA-World 与 FSDrive 同样基于 Qwen2-VL-2B 和 $128 \times 192$ 分辨率，但 FID 从 10.1 降至 9.8，证明了轨迹感知条件机制对生成质量的直接提升——生成的未来帧不仅仅是"视觉上合理"，而且包含了与自车行为一致运动信息。
消融实验
| 配置 | L2 Avg (m) | 结论 |
|---|---|---|
| 完整 VLA-World | 0.30 | 基线 |
| w/o. Pretraining | 0.57 | 预训练贡献显著 |
| w/o. SFT | 0.85 | SFT 最关键，移除后性能下降最大 |
| w/o. RL | 0.71 | GRPO 带来约 0.41m 的 L2 改善 |
| w/o. Perception | 0.75 | 感知信息不可或缺 |
| w/o. Generation | 0.68 | 生成模块贡献一致性 |
| w/o. Reasoning | 0.85 | 反思推理移除后性能大幅下降 |
| w/o. $R_{\text{pred}}$ | 0.41 | 短期预测奖励至关重要 |
| w/o. $R_{\text{vis}}$ | 0.42 | 视觉约束奖励也有重要作用 |
| w/o. $R_{\text{act}}$ | 0.62 | 动作奖励显著影响 |
| w/o. $R_{\text{traj}}$ | 0.72 | 轨迹奖励贡献最大 |
模型规模 Scaling
| 模型 | L2 Avg (m) | 相对改善 |
|---|---|---|
| Qwen2-VL-2B | 0.30 | 基线 |
| Qwen2.5-VL-3B | 0.29 | 略有改善 |
| Qwen2-VL-7B | 0.18 | 相比 2B 改善 40% |
随着模型容量增加，VLA-World 展现出清晰的 Scaling Law——更大的模型具备更强的因果依赖推理能力，在长时域（3s）上的改善尤为显著。2B→7B 的升级将 3s L2 误差从 0.52 降至 0.47，说明长时域预测更依赖模型的推理容量。此外，论文还实验了输入分辨率的影响：在 36,000 像素下 Avg L2 为 0.38，提升到 52,884 像素后降至 0.30，说明保持高保真视觉信息对缓解轨迹误差累积至关重要。
🧩 与相关工作的深入对比
| 维度 | DriveVLM (2024) | OmniDrive (CVPR 25) | FSDrive (NeurIPS 25) | VLA-World (本文) |
|---|---|---|---|---|
| 世界模型角色 | 无 | 无（仅用语言推理） | 生成未来帧作为 CoT 中间步 | 生成 + 反思联合优化 |
| 未来帧用途 | 不生成 | 不生成 | 生成但不反思 | 生成后反思修正轨迹 |
| 训练范式 | SFT | SFT | SFT | 预训练 → SFT → GRPO RL |
| 短期轨迹 | 无 | 无 | 隐式 | 显式预测 + 条件生成 |
| 反思机制 | 文本 CoT | 文本 CoT + 反事实 | 不反思 | 视觉 Token 级反思推理 |
| 多视图一致性 | 是 | 是（3D 查询） | 仅前视图 | 多视图统一生成 |
| 奖励函数 | 无 | 无 | 无 | 5 维规则奖励 + GRPO |
| L2 Avg (ST-P3) | — | 0.33* | 0.28* | 0.26* |
💡 个人思考 / 关键洞察
1. 从"生成"到"理解 + 反思"的范式跃迁。 VLA-World 最核心的贡献不是简单地添加了一个图像生成模块，而是将生成从"辅助信号"提升为"反思推理的可操作条件"。传统世界模型生成的未来帧只是为了可视化或评估像素保真度，而 VLA-World 让模型真正"阅读"自己生成的内容并据此修正决策。这个闭环——预测、生成、反思、修正——使模型具备了类似人类驾驶员的"事后思考"能力。从变分推理角度看，这等同于收紧策略估计的证据下界，有严格的数学保证。
2. 三阶段训练策略的精妙设计。 论文没有尝试端到端一次性训练所有能力，而是将学习分解为三个渐进的阶段：先学会"看"（视觉生成预训练），再学会"理解"（SFT 注入驾驶概念），最后学会"思考"（GRPO 探索推理策略）。这种课程学习式的设计非常符合认知科学中的"分层学习"理论——底层能力是上层能力的基础。特别值得注意的是，预训练阶段使用了 500k 数据而 SFT 阶段仅用 20k，这种"大规模预生成 + 小规模精调"的策略在数据效率上非常高效。
3. GRPO 奖励工程：从 5 个维度约束行为。 论文设计的五类奖励函数覆盖了从输出格式到运动学一致性的完整行为空间。其中 $R_{\text{fmt}}$ 和 $R_{\text{vis}}$ 属于"硬约束"——确保模型输出的结构正确性和 Token 合法性；$R_{\text{pred}}$ 和 $R_{\text{act}}$ 属于"软约束"——引导短期预测和动作选择的准确性；$R_{\text{traj}}$ 是最核心的"行为约束"——保证轨迹的运动学合理性。这种分层设计的奖励体系，比单一的 L2 损失或碰撞惩罚更加全面。消融结果印证了这一点：移除 $R_{\text{traj}}$ 后平均 L2 从 0.30 恶化到 0.72，说明运动学一致性是轨迹质量的关键。
4. “短期想象 + 长期规划"的认知架构。 VLA-World 将规划分解为两个时域：0.5s 的短期想象（用于条件生成和即时反馈）和 3s 的长期规划（最终输出）。这种分解具有深刻的认知意义——短期预测相对确定（车辆动力学约束强），而长期预测不确定性大（其他智能体的意图不确定）。通过先做相对可靠的短期预测，再基于生成的短期未来做更审慎的长期规划，模型实际上实现了一种"由近及远"的渐进决策策略。这与模型预测控制（MPC）中的滚动时域思想一致，但以学习的方式实现。
5. 多视图一致性：从单视图到全景式理解。 相比 FSDrive（仅前视图），VLA-World 在预训练阶段就明确要求多视图一致性——无论模型在 SFT 和 RL 阶段需要哪个视角的未来帧（左转时关心左视图、右转时关心右视图），预训练阶段已确保所有视角的生成能力都已激活。这种"全视角生成"的能力使得模型在推理时可以根据行驶意图动态选择最相关的视角进行反思，而不是固定在前视图。这在复杂的城市驾驶场景（如环岛、十字路口）中尤为重要。
6. 局限性与未来方向。 VLA-World 在当前版本中仍然存在可改进的空间：第一，三阶段训练的计算开销较大（3 个阶段 × 多个 epoch × 8 个 A100 GPU），实际部署到低成本硬件上存在挑战；第二，3s 的规划时域对于高速场景（如高速公路）可能不够，更长的时域需要更强的时间建模能力；第三，当前的 GRPO 奖励函数是手工设计的规则，可能无法覆盖所有驾驶场景的多样化需求。未来方向包括引入基于学习的奖励模型（RLHF 风格）、扩展到 8s-10s 的更长规划时域、以及将推理链模型蒸馏为更轻量的推理模块以降低部署成本。
总结：VLA-World 通过"预测-生成-反思-规划"的统一框架，在 VLA 和世界模型两种范式之间架起了一座桥梁。它的核心启示是：在自动驾驶中，对未来最有益的不是生成最逼真的像素，而是学会从自生成的未来中反思和学习。 这种"想象 + 反思"的能力，或许正是通向更安全、更类人的自动驾驶系统的关键密码。
附录：关键实现细节
| 配置项 | 预训练 | SFT | GRPO RL |
|---|---|---|---|
| 基础框架 | LLaMA Factory | LLaMA Factory | Easy-R1 |
| GPU | 8 × A100 | 8 × A100 | 8 × A100 |
| Epoch | 30 | 12 | 1 |
| 学习率 | $5 \times 10^{-4}$ | $1 \times 10^{-4}$ | $1 \times 10^{-6}$ |
| Batch Size | 16 × GPU | 16 × GPU | 16 × GPU |
| 优化器 | AdamW | AdamW | GRPO + AdamW |
| 采样数 | 1 | 1 | 8 |
| KL 系数 | — | — | $1 \times 10^{-2}$ |
| 学习率调度器 | Cosine（warmup 0.1） | Cosine（warmup 0.1） | Cosine（warmup 0.1） |
附录：nuScenes-GR-20K 数据集
nuScenes-GR-20K 从原始 nuScenes 训练集中筛选并标注了约 20,000 个高质量样本，专门用于生成式推理训练。每个样本包含：
- 6 个视角的当前帧图像 + 下一帧图像
- 自车状态（位置、速度、加速度、横摆角速度）
- 导航指令（左转/右转/直行）
- 短期路径点（0.5s 间隔，2 个点）
- 长期路径点（0.5s 间隔，6 个点，3s 时域）
- 结构化推理文本（感知 → 预测 → 生成 → 思考 → 动作 → 轨迹）
与原始的 nuScenes 相比，GR-20K 增加了推理标签和条件生成标注，使其适用于世界模型的生成-推理-规划联合训练。预训练阶段另使用约 500k 数据，来源于 nuScenes 的 193,082 个未标注样本通过时序采样扩充得到。