📄 论文信息

项目内容
标题X-World: Controllable Ego-Centric Multi-Camera World Models for Scalable End-to-End Driving
团队小鹏汽车 GWM 团队（Chaoda Zheng, Sean Li 等 12 人）
发表arXiv 2503.19979，2026 年 3 月
项目主页https://x-world-1.github.io
关键词世界模型、可控视频生成、多相机一致性、VLA、闭环仿真

一句话概括：X-World 是小鹏汽车提出的基于扩散模型的多相机可控世界模型。给定多视角历史视频与未来动作序列，它能在视频空间直接生成未来多相机观测；同时支持对动态交通体、静态道路元素的可选控制，以及文本驱动的场景外观编辑（天气/时段/地域），为 VLA 端到端自动驾驶提供了可扩展的闭环评测与仿真训练基础设施。

🤔 要解决什么问题？

端到端自动驾驶的评测困境

在 VLA 端到端时代，自动驾驶系统的评测仍是最大瓶颈之一。传统评测手段及其痛点如下：

评测方式成本场景覆盖可复现性安全性主要痛点
真实路测极高（百万公里级）偏置（74.8% 为直行）差（不可控）有风险长尾场景 < 5%，安全事件依赖碰运气
Log-Replay中受限（只能 replay 历史）一般安全反事实动作无法评测
仿真器（CARLA 等）中低广但真实感差好安全Sim-to-Real 鸿沟大，视觉策略难以迁移
视频世界模型（本文）低（部署后几乎零边际成本）广（可通过条件组合任意生成）极好安全技术挑战：可控性、一致性、长时序稳定性

核心矛盾是：真实路测安全但昂贵且长尾覆盖不足，仿真评测可控但视觉保真度不足以训练 VLA 策略。X-World 的目标是在"真实感"和"可控性"之间架一座桥——在视频空间生成真实的多相机未来观测，且对自车动作、交通体、道路要素、环境外观完全可控。

现有视频生成模型的不足

已有视频扩散模型（Sora、WAN、CogVideo 等）能生成高保真视频，但存在三个致命短板：

  1. 缺乏精细可控性：无法指定自车动作、物体轨迹等参数化条件
  2. 单视角/单相机：无法保证多相机环视的跨视角几何一致性
  3. 仅离线生成：多为双向扩散，无法用于实时流式交互仿真

X-World 正是针对这三个痛点提出了完整的解决方案。

🏗️ 方法详解

4.1 整体架构与数据流

X-World 基于 WAN 2.2 5B 视频生成架构，采用高压缩比的 3D Causal VAE（空间 $16\times$，时序 $4\times$ 压缩），将 $V=7$ 个环视相机的视频映射到通道维度为 48 的紧凑隐空间。

┌│├││││││││││││││││││││└────────历自动静文相未SS───史(车(态态本机来(tt───多t动速体元提内多taa───相-作度条素示外相~gg───机L序/件条参机tee───视列曲件─视+--───频~率───频FII────等────,:I────t─)─────:────,──────V双───→─────→向因───V→─→──路果───┌→─→┌)R分────路││→─e块────)┌条─c────(└─件└─t+────1──编──i────│6──码──│fS────3×────3ie────D│4─↓─│─↓─D│└el────×──────df──X──C)─l────CD─-──-──a─a─→──ae─Ff──W─┐uV─t┐│─┐uc─lo──o─sA│─e┘so─or──r─aE─nad─wc──l─┌l┘t┌le─i──d──│─r─(n────│││─│─5g──数──││─←─0──据──│──│┘步(──流──│─+─│)4──总───4└─步──览──→异+│/↓P──│└)────M│构5r──R─────u条解0e──o─────l件耦步d──l(─────t(注去i──l流─────iV入C噪c↓──i式─I────-irt──n时─2────Veoe──g序─CV────iwsd──上─2────e-s──K下─V(────wT-↓l──V文─L────eAa──)─(=V────Dmtt──C─L12────ipte──a─=)V────To│nn──c─0────r)t──h─)(────a│──e─L────l───>───┐│─┐─1───S│──)───A│─│────││─────│──────────│││┘││────│┘───││││──│─││───│────┐┤│││┘││││││

输入输出形式化定义为：

$$ \hat{\mathbf{X}}_{t:t+F}^{1:V} = \mathcal{G}\left(\mathbf{X}_{t-L:t}^{1:V}, \mathbf{a}_{t:t+F}, \mathbf{C}_{\text{dyn}}, \mathbf{C}_{\text{static}}, \mathbf{c}_{\text{text}}; \boldsymbol{\theta}\right) $$

其中 $V=7$ 为相机数，$L$ 为历史帧数，$F$ 为未来帧数，$\mathbf{a} \in \mathbb{R}^{F \times 4}$ 为自车动作序列（速度、曲率、横滚角、俯仰角），$\mathbf{C}{\text{dyn}}$ 和 $\mathbf{C}{\text{static}}$ 为动态/静态结构化条件，$\mathbf{c}_{\text{text}}$ 为文本提示。

核心 Diffuser 是定制化的 Multi-View DiT，其每层包含三个关键子模块：

  1. View-Temporal Self-Attention — 跨视角、跨时序的全交互
  2. 异构条件注入 — 不同条件采用不同注入策略
  3. 解耦 Cross-Attention — 三种条件各自独立交叉注意力

4.2 View-Temporal Self-Attention 与异构条件注入

视角-时序自注意力

传统的视频 DiT 只在单视角内做时序注意力，导致多相机画面中出现几何矛盾——同一辆车在前向相机和侧向相机中的位置不一致。X-World 的 View-Temporal Self-Attention 将 latent token 组织为 $(V \times T \times H \times W)$ 的张量，然后沿着视角维度和时间维度交替执行完全注意力，使所有 token 之间都可以交互。

具体地，将 3D latent 展平为 $N = V \times T \times H \times W$ 个 token，自注意力计算为：

$$ \text{Attention}(Q, K, V) = \text{Softmax}\left(\frac{QK^\top}{\sqrt{d_k}}\right)V $$

其中 $Q, K, V$ 来自全部 $N$ 个 token 的线性投影。这使得来自不同相机、不同时间步的 latent 可以充分交换信息，确保跨视角的物体身份、运动模式和几何结构相互对齐。这在物理上等价于让模型隐式学习了一组"跨相机投影矩阵"，只不过是在隐空间中通过注意力完成的。

异构条件注入策略

不同条件具有截然不同的数值特性和语义粒度，用同一种方式注入会导致控制冲突。X-World 的差异化设计如下：

条件类型注入方式预处理流程关键设计理由
自车动作 & 时间步adaLN-Zerosymlog → Fourier 编码 → MLP → diag 调制连续低维控制，适合对 hidden state 做 channel-wise 缩放
相机内外参Additive Embedding归一化 → MLP → 加性注入 hidden state相机参数是"静态身份"，加性嵌入不破坏 token 间交互
动态交通体Cross-AttentionumT5 语义编码 + 归一化坐标 + Fourier 编码 → 拼接 → MLP序列化条件，需要与视频 token 做灵活的 query-key 匹配
静态道路元素Cross-Attention同上，但训练时 Dropout与动态体同结构但强度不同，CFG 引导系数更高
文本提示Cross-Attention继承 WAN 的 T5 编码管线控制全局外观，粒度最粗

动作参数的预处理值得特别关注。原始动作值 $\mathbf{a}$ 先经过 symlog 变换压缩动态范围：

$$ \text{symlog}(x) = \text{sign}(x) \cdot \ln(1 + |x|) $$

然后通过 Fourier 特征编码将标量映射到高维空间：

$$ \gamma(x) = [\sin(2\pi f_1 x), \cos(2\pi f_1 x), \ldots, \sin(2\pi f_k x), \cos(2\pi f_k x)] $$

最终通过 MLP 投影到与 DiT hidden state 一致的维度，经 adaLN-Zero 注入。

解耦交叉注意力

为避免不同类型条件间的相互干扰，X-World 为动态体、静态元素、文本提示分别设置独立的交叉注意力分支，而非共享同一通路。每种条件的 Key 和 Value 来自各自的条件编码器，Query 来自视频 latent，三者并行计算注意力后相加。这使得每种条件的梯度更新互不干扰，训练时可独立调节每种条件的引导强度——例如静态元素使用更高的 CFG 系数以保证道路拓扑的精确性，而文本使用更柔和的系数来保留生成多样性。

4.3 两阶段级联训练

训练流程

X-World 采用两阶段训练策略，兼顾双向生成的高质量与流式推理的实时性。

Stage-I：双向 I2V 训练

从 WAN 2.2 5B TI2V 权重初始化（已有参数直接加载，新增模块随机初始化），在 81 帧多相机短片段上进行 Rectified Flow 训练：

$$ \mathcal{L}_{\text{RF}}(\theta)=\mathbb{E}_{\mathbf{y}_{0},\,\mathbf{y}_{1},\,t,\,\mathbf{c}}\left[\left\|v_{\theta}(\mathbf{y}_{t},t,\mathbf{c})-(\mathbf{y}_{1}-\mathbf{y}_{0})\right\|_{2}^{2}\right] $$

其中 $\mathbf{y}{t}=(1-t)\mathbf{y}{0}+t\mathbf{y}_{1}$，$\mathbf{y}_0$ 为真实未来视频的 latent，$\mathbf{y}1 \sim \mathcal{N}(0, I)$ 为标准高斯噪声，$v\theta$ 为模型预测的速度场。该阶段产出高精度可控的双向世界模型，但需要约 50 步逆扩散迭代采样才能达到最佳质量，无法用于实时交互。

此阶段的核心挑战是多相机数据的大规模并行训练——7 个相机 × 81 帧 × VAE latent 的张量尺寸极大，团队采用了序列并行（sequence parallelism）和张量并行（tensor parallelism）的混合策略在 64 张 A100 GPU 上完成训练。

Stage-II：因果流式蒸馏

将 Stage-I 的双向模型改造为分块因果架构（Chunk-wise Causal），关键设计如下：

  1. 分块因果掩码：将 latent 序列沿时间轴划分为固定大小的块（chunk）。块内 token 可以双向交互以保持局部生成质量，块间采用因果 mask——当前块只能看到自身及之前块的 token，不能看到未来块的信息。

  2. Self-forcing 蒸馏：不使用 ground-truth 上下文进行 teacher forcing，而是在模型自身的自回归 rollout 输出上训练。给定第 $i$ 个块的生成结果后，将其作为第 $i+1$ 个块的条件上下文。这大幅缓解了训练-推理分布偏移（exposure bias），是长时序稳定性的关键。

  3. DMD 分布匹配蒸馏：使用 Distribution Matching Distillation 损失逼近 Stage-I 教师模型的分布：

$$ \mathcal{L}_{\text{DMD}} = \mathbb{E}_{p_{\text{student}}} [r(\mathbf{y})] + \beta \cdot \text{KL}(p_{\text{student}} \| p_{\text{teacher}}) $$

其中 $r(\mathbf{y})$ 为判别器对生成样本的打分，KL 项约束学生分布不偏离教师。配合 4 步去噪（4-step DDIM sampler），学生模型即可生成与 50 步教师模型质量相当的视频。

  1. Rolling KV Cache：推理时维护一个定容 FIFO 滑动窗口（默认窗口大小与训练块大小一致），存储最近的历史键值对。新块生成时复用缓存中的 attention 上下文；旧块超出容量时按先进先出丢弃。这使得长时序推理的内存开销恒定 $O(\text{window_size})$，同时保持充分的近期时序上下文。

Stage-II 的核心消融实验数据（来自论文 Table）：

策略配置FVD ↓时序连贯性推理步数备注
Stage-I 双向（基线）最优高50不可流式
+ 因果分块↑ 3.2%中50可流式但质量下降
+ Self-forcing↑ 0.8%高50缓解漂移
+ DMD 4-step↑ 1.5%高4速度提升 12.5×

DMD 4-step 蒸馏在仅损失 1.5% FVD 的前提下将推理速度提升了 12.5 倍，使得 X-World 达到了接近实时的交互帧率。

4.4 统一的 I2V/V2V/C2V 三模式

通过控制历史帧数 $L$ 实现三种生成模式的统一，这是 X-World 在框架设计上的精巧之处：

模式历史帧 $L$生成任务典型用途
I2V (Image-to-Video)$L=1$以第一帧锚定外观和几何，生成剩余未来标准世界模型预测
V2V (Video-to-Video)$L>1$基于多帧观测提供更强的时序上下文更稳定的闭环仿真
C2V (Condition-to-Video)$L=0$无历史观测，纯条件生成数据合成 + 风格迁移
$$ \hat{\mathbf{X}}_{t:t+F}^{1:V} = \begin{cases} \mathcal{G}_{\text{I2V}}(\mathbf{X}_{t}^{1:V}, \mathbf{a}_{t:t+F}, \ldots), & L=1 \\ \mathcal{G}_{\text{V2V}}(\mathbf{X}_{t-L:t}^{1:V}, \mathbf{a}_{t:t+F}, \ldots), & L>1 \\ \mathcal{G}_{\text{C2V}}(\emptyset, \mathbf{a}_{t:t+F}, \mathbf{C}_{\text{dyn}}, \mathbf{C}_{\text{static}}, \mathbf{c}_{\text{text}}), & L=0 \end{cases} $$

C2V 模式虽不是严格意义上的世界模型（不建模状态转移），但其实际价值巨大：在固定动作和场景控制下，通过修改文本提示实现零样本的地域/天气/时段风格迁移。例如将中国路况数据转换为欧洲左舵风格，为国际化部署提供低成本数据合成方案。

🔬 实验与结果

实验设置

X-World 在内部采集的大规模多相机驾驶数据集上训练和评测，包含 7 路环视相机、12 FPS、每段 10 秒（120 帧）的视频片段。评测维度包括：帧级保真度（FVD、FID）、动作跟随度、跨视角一致性、长时序稳定性。

多视角一致性与可控性结果

动作可控性

自车动作可控性：在相同初始帧下，仅改变自车动作序列（直行→右转、保持车道→变道），模型能生成严格跟随动作的多相机视频。3 秒规划路径与生成视频的轨迹对齐误差极小。

动态静态可控性

动态体与静态元素可控性：在 6 秒多相机生成中，模型稳定保持指定物体的位置/运动以及道路拓扑结构，即使经过鱼眼和窄角相机的视角变换仍保持一致。

定量结果对比

方法FVD ↓FID ↓动作跟随误差 ↓跨视角一致性 ↑支持多相机可控性维度
DriveDreamer342.128.7—单相机✗文本+HDMap
GenAD318.525.3—单相机✗文本+轨迹
DriveDreamer-2276.221.80.287有限✓文本+3D框
X-World (Ours)158.312.40.0830.92✓ (7路)动作+动态+静态+文本

X-World 在 FVD 上相比 DriveDreamer-2 降低约 43%，跨视角一致性得分 0.92（1 为完全一致），验证了 View-Temporal Self-Attention 和异构条件注入的有效性。

长时序生成与消融研究

24 秒长时序生成

X-World 支持 24 秒以上的流式多相机长视频生成，无明显漂移或质量坍塌。以下是对各类条件的消融实验：

条件使用FVD ↓动作跟随 ↓文本对齐 ↑说明
全部条件（完整模型）158.30.0830.87最好
移除动态体条件172.10.0910.85动态体一致性下降
移除静态元素条件169.80.0880.84道路拓扑偶尔扭曲
移除文本条件160.20.085—外观多样性丧失
仅使用自车动作175.60.095—静态/动态不可控
共享 Cross-Attention（非解耦）181.40.1120.76条件间干扰明显
不使用 View-Temporal SA213.70.1340.72跨视角不一致严重

关键结论：(1) 解耦交叉注意力比共享方案 FVD 提升 12.8%；(2) View-Temporal Self-Attention 是跨视角一致性的最大贡献者；(3) 每种条件类型都有其不可替代的作用。

文本驱动外观编辑与多视角一致性

外观编辑

在固定动作、动态体和静态元素的条件下，通过修改文本提示即可改变地域风格、时段和天气。所有图像（包括第一帧）均由 C2V 模式生成，验证了模型具备独立的外观生成和风格迁移能力。

同一场景中前置窄角、鱼眼、侧向、后向等多个相机视野中的物体保持几何一致，跨相机切换时无跳变。View-Temporal Self-Attention 使得不同视图的 latent 能够充分交互信息。

实际应用落地

闭环仿真与应用

X-World 在小鹏 VLA 2.0 系统中已落地三个核心场景：

应用场景技术方案价值
闭环评测引擎替代 log-replay，对策略的反事实动作生成真实视觉反馈解决"无法评测未见过的动作"的困境
在线强化学习环境在鬼探头、密集变道等困难场景中生成训练数据探索现实中无法安全进行的临界状态
大规模数据合成C2V 零样本地域/天气/时段风格迁移国内数据→海外风格，加速国际化部署

📊 与现有方法的对比分析

X-World 定位在"可控多相机世界模型"这一细分方向，与已有工作的核心差异：

方法基座模型多相机动作可控动态/静态可控文本可控流式生成统一 I2V/V2V/C2V
DriveDreamerStable Video Diffusion✗✓ (部分)✗✓✗✗
GenADLatte✗✓✗✓✗✗
DriveDreamer-2Video Diffusion✓ (4路)✓✓ (3D框)✓✗✗
ADriver-IDiffusion Transformer✗✓✗✗✗✗
PanaceaDiffusion✓✗✗✓✗✗
CosmosMoT DiT✗✗✗✓✓✗
X-World (Ours)Multi-View DiT✓ (7路)✓✓ (动态+静态)✓✓ (4步)✓

X-World 是唯一同时满足全部维度的方案。特别是在"多相机 + 动作可控 + 动态/静态可控 + 流式生成"的组合上具有独特性，这一组合使其能够真正胜任 VLA 策略的闭环仿真需求。

💡 关键洞察与启发

  1. 视觉空间世界模型比隐空间更实用：对 VLA 系统而言，世界模型的输出空间应与策略输入空间对齐。直接在视频空间建模状态转移比在隐空间重构（如 Dreamer 类方法）更实用——避免了隐向量解码为像素时的信息损失和分布偏移。这个设计选择背后的洞察是：VLA 策略的视觉编码器已经适应了像素空间，如果世界模型输出隐向量，就需要在策略侧额外加一个对齐模块，增加了系统复杂度和级联误差。X-World 直接输出视频帧，使得它可作为一个即插即用的"仿真器"模块插入任何现有 VLA 管线中。

  2. 因果分块 + Self-forcing 是实现交互式世界模型的关键工程创新：双向扩散模型质量虽高但无法实时交互，因果生成效率高但质量下降。X-World 通过分块设计（块内双向 + 块间因果）加 Self-forcing 蒸馏（在模型自身上下文上训练），实现了质量与速度的帕累托最优。其中 Self-forcing 对长时序稳定性的贡献远超预期——在没有 Self-forcing 的情况下，即使使用分块因果架构，rollout 超过 15 秒后仍然会出现明显漂移。这个技术细节对任何做长时序自回归生成的工作都有借鉴价值。

  3. 异构条件需要异构处理——“一刀切"是可控性的大敌：X-World 为不同类型条件设置独立的交叉注意力分支和差异化注入策略（adaLN-Zero / Additive / Cross-Attention），有效避免了条件间的相互干扰。消融实验显示，将三种条件共享同一个交叉注意力分支会导致 FVD 上升 12.8%，且动作跟随误差增加 34.9%。这说明"异构条件、异构处理"不是风格选择，而是性能需要。在实际部署中，不同类型条件的学习进度和难度不同，独立分支也让训练调度更加灵活（如对静态条件使用更高的 CFG 系数）。

  4. 数据质量是决定世界模型上限的根本因素：团队投入大量计算资源构建了完整的数据标注体系——三层标签体系（环境 50 类 + 静态 24 类 + 动态 5 类 + 行为 21 类）加 VLM 自动视频描述，并对数据分布进行系统性分析（74.8% 直行、21.0% 静止、不足 5% 长尾），直接指导后续数据采集的优先级。这种"数据驱动模型迭代"的工程思路是论文落地的关键保障。特别是分布分析揭示的"小学课本式的正态分布"问题——绝大多数驾驶行为集中在正常直行上，而安全攸关的长尾行为严重不足——这提醒我们：采集更多数据不如采集更长尾的数据。

  5. 从双向到流式的蒸馏范式可以推广到更多交互式生成场景：Stage-I 高质量双向 → Stage-II 流式蒸馏的范式不仅在自动驾驶场景有效，在机器人仿真、游戏引擎、数字孪生等需要实时交互的领域也有巨大潜力。关键在于 DMD 蒸馏 + 分块因果的设计组合——DMD 保持单步质量，分块因果保证时序连贯，两者缺一不可。Rolling KV Cache 的工程实现也很巧妙，它把注意力上下文的存储从 $O(T)$ 降低到 $O(\text{window})$，使得理论上可以无限长时序生成。

  6. VLA 时代，世界模型正在从"研究工具"变成"基础设施”：X-World 在小鹏 VLA 2.0 中的落地——闭环评测、在线强化学习、数据合成——展示了世界模型在量产自动驾驶系统中的三种核心角色。其中"数据合成"的应用尤其具有战略意义：通过 C2V 模式将国内采集的海量数据低成本转化为海外训练资产（如中国道路 → 欧洲风格），这在全球化部署中能节省数百万公里的海外路测成本。这暗示了一个趋势：在 VLA 时代，世界模型不再是研究论文中的概念验证，而是正在成为自动驾驶公司的核心基础设施，其重要性可能不亚于感知模型和规划模型本身。

参考文献：Zheng, C., Li, S., et al. X-World: Controllable Ego-Centric Multi-Camera World Models for Scalable End-to-End Driving. arXiv:2603.19979, 2026. https://arxiv.org/abs/2603.19979