📄 论文信息

  • 标题：WorldVLA: Towards Autoregressive Action World Model
  • 团队：DAMO Academy, Alibaba Group × Hupan Lab × Zhejiang University（Jun Cen, Chaohui Yu, Hangjie Yuan, Yuming Jiang, Siteng Huang, Jiayan Guo, Xin Li, Yibing Song, Hao Luo, Fan Wang, Deli Zhao, Hao Chen）
  • arXiv：2506.21539（2025年6月26日，cs.RO）
  • 代码：https://github.com/alibaba-damo-academy/WorldVLA
  • 关键词：Action World Model、VLA、World Model、Autoregressive、Action Attention Mask
  • 一句话总结：首次将VLA与世界模型融合在一个自回归LLM中，实现图像/文本/动作三种模态的理解与生成全统一，并提出动作注意力掩码解决动作块生成时的误差累积问题。

🤔 要解决什么问题？

现有方法的割裂之痛

VLA（Vision-Language-Action）模型和世界模型（World Model）是具身智能的两大核心范式，但它们长期各自为政：

范式代表方法优点关键痛点
VLA 动作模型RT-2, OpenVLA, Octo直接用视觉+语言生成动作，训练高效不理解环境物理动力学，动作缺乏"常识"
离散动作模型OpenVLA-OFT支持动作块（Action Chunking）自回归生成时误差累积，长动作块性能断崖下降
世界模型Dreamer, UniPi, Cosmos能预测未来状态，理解物理规律不能直接生成动作，需额外规划器
视频预测模型VideoGPT, Phenaki生成后续视频帧不以动作为条件，预测存在歧义性

核心矛盾：VLA能动作但不懂物理，世界模型懂物理但不会动作。WorldVLA的目标是打通两者——让世界模型为动作模型提供物理先验，让动作模型为世界模型提供视觉理解辅助。

三个具体挑战

  1. 模态鸿沟：图像、文本、动作是三种完全不同性质的信号——图像是像素空间，文本是离散符号，动作是连续数值。如何统一它们？
  2. 动作生成退化：自回归生成动作块时，MLLM在动作域泛化能力弱，早期动作误差向后续动作传播，导致长块成功率下降10%-50%。
  3. 双向增强机制缺失：没有统一框架同时利用世界模型的物理知识和动作模型的决策能力。

🧠 方法详解

1. 问题定义与统一形式化

WorldVLA 将两个互补功能统一在一个模型 $M_{\psi}$ 中：

动作模型（Action Model） $\pi_{\theta}$：基于历史图像观测 ${o_{t-h},\dots,o_t}$ 和语言指令 $l$ 生成动作 $a_t$：

$$a_t = \pi_{\theta}(a_t \mid o_{t-h:t}, l)$$

世界模型（World Model） $f_{\phi}$：基于历史图像和动作预测下一帧观测 $o_t$：

$$o_t = f_{\phi}(o_t \mid o_{t-h:t-1}, a_{t-h:t-1})$$

统一后的 Action World Model 同时具备两种能力：

$$M_{\psi}:\begin{cases} a_t = M_{\psi}^{\text{policy}}(a_t \mid o_{t-h:t}, l),\\ o_t = M_{\psi}^{\text{world}}(o_t \mid o_{t-h:t-1}, a_{t-h:t-1}), \end{cases}$$

联合训练目标将两者损失加权求和：

$$\mathcal{L} = \mathcal{L}_{action} + \alpha \mathcal{L}_{world}$$

其中 $\mathcal{L}{action}$ 是动作token的交叉熵损失，$\mathcal{L}{world}$ 是图像token的预测损失，$\alpha$ 是平衡系数（实验中设为1）。

2. 模型架构：三模态统一编码

WorldVLA整体架构

图2：WorldVLA整体架构，包含动作模型与世界模型两个互补组件

模型从 Chameleon（Meta统一图像理解与生成的多模态大模型）初始化。核心设计是三种独立Tokenizer + 共享词汇表：

模态Tokenizer压缩率码本大小细节
图像VQ-GAN16×8192256×256→256 token；512×512→1024 token
文本Chameleon SPM——BPE子词分词器
动作均匀量化—256 bin/DOF7-DOF→7 token，每维256个离散bin

动作的离散化方式如下：对于7自由度连续动作 $a \in \mathbb{R}^7$，按每个维度的值域均匀划分为256个区间：

$$a^{\text{token}}_i = \left\lfloor \frac{a_i - a_{\min}}{a_{\max} - a_{\min}} \times 255 \right\rfloor, \quad i = 1,\dots,7$$

这种设计使得图像、文本、动作三者共享同一个LLM的词汇表——理解与生成无须额外的模态桥接。

下图展示了三种模型的对比：

三种模型的对比

图1：(a) 纯动作模型——图像→动作的映射；(b) 纯世界模型——图像+动作→下一帧图像；(c) Action World Model——统一图像与动作的理解和生成

数据流 ASCII 架构图

┌│├│││││││││││││││││││││││││││└────────┌│││└┌│││└───────────VIT──Aa→─────Qmo──c_─────-ak─┌││└┌│││└─ttE─────Gge┬│└───A(──ir─────Aen─────cPa──oNr─────N───(──to_──nOo────────ST──ilt──Tr────────hr──oi──A─────│││───aa──nc──tap────┐┘──rn──y──ttr───W─┬│▼─es──H)──eto───o─│││──df┬│▼─e──nep───r─┌└──o──a──tna───l──T(───Vr──d──idg───d──ToS───om────oa───V──ekP───ce─┐│││┘─ntt───L──xeM───ar──oi───A──tn)┬│┘─b─┌│││└─Mo─────i──uD──I(──aan───(──z──le──mW──s_───C──e──ac──ao_──k{b───h──r──ro──gr{──:<l───a──│││──yd──elt──to───m─┐┘─e┬│▼─d+──}c───e──Lr──H)1──k───l─│││─L──e}──e───e─┌└─MO──a──d───o──QA(──n──d─────n──uc2──Cl─────────at5──oy──│││─────B──ni6──r)─┐┘────a──to──e─────c──inb───────k──zi┬│││▼──────b──eTn──┘────o──do/──││────n──kd─┐────e──ei─────)──nm───────)───────│││──────┐┘──────────┐│││┘───│││───│││───││││───│││││││││───││││││││─┐┤┘│

3. 动作注意力掩码机制

这是WorldVLA的核心技术创新。

问题溯源：标准因果注意力掩码中，后续动作token允许关注先前动作token（图3a）。但MLLM预训练数据主要是图像和文本，动作域的泛化能力有限，因此早期动作的误差会沿自回归链向下传播——动作块越长，误差累积越严重。

解决方案：提出动作注意力掩码（Action Attention Mask）——在生成当前动作时，选择性遮蔽所有先前的动作token，使每个动作仅依赖于文本和视觉输入（图3b）。世界模型部分仍使用标准因果掩码（图3c）。

形式上，注意力掩码矩阵 $M \in {0,1}^{N \times N}$（N为总token数）定义为：

$$M_{i,j} = \begin{cases} 1 & \text{if token } i \text{ can attend to token } j \\ 0 & \text{otherwise} \end{cases}$$

对于动作token序列 ${a_1,\dots,a_K}$，标准因果掩码使 $M_{a_i, a_j} = 1$ 对所有 $j < i$ 成立；而动作注意力掩码使 $M_{a_i, a_j} = 0$ 对所有 $i \neq j$ 成立——每个动作token只能关注视觉和文本token。

注意力掩码

图3：(a) 默认因果掩码——动作依赖于先前动作导致误差累积；(b) 本文提出的动作注意力掩码——当前动作仅依赖视觉输入、不依赖先前动作；(c) 世界模型的掩码

这一设计的精妙之处在于：它用零额外参数解决了自回归动作块生成中的误差累积问题。同时，由于各动作彼此独立，这一机制本质上实现了"并行解码"——与OpenVLA-OFT等方法的思路一致。

动作注意力掩码的效果随动作块长度的变化：

$$ \text{SR}(K) = \begin{cases} \text{SR}_{\text{causal}}(K) & \text{without mask} \\ \text{SR}_{\text{masked}}(K) & \text{with mask} \end{cases}$$

如图6所示，$K$ 越大，带掩码与不带掩码的成功率差距越显著。

4. 训练策略与数据格式

动作模型数据格式（多历史帧 → 动作块）：

[[BEOOSI]]{[tBeOxAt]}{[aBcOtIi]o{ni}m_a1g.e.}._[1a.c.t.i[oBnO]I_]K{[iEmOaAg]e[}E_OMS]
  • 文本prompt：“What action should the robot take to + 任务指令 + ?”
  • M张历史图像后接K个离散动作token
  • 仅对动作token计算 $\mathcal{L}_{action}$

世界模型数据格式（当前帧+动作 → 下一帧）：

[[BEOOSS]]{[tBeOxIt]}{[nBeOxIt]_{iimmaaggee}}[[EEOOII]][[EBOOSA]]{action}[EOA]
  • 文本prompt：“Generate the next frame based on the current image and the action.”
  • 仅对下一帧图像token计算 $\mathcal{L}_{world}$

联合训练：将两种数据混合，在一个batch内同时优化动作和世界模型损失。无需为不同任务切换模型权重——同一个前向传递根据输入格式自动决定输出类型。

🔬 实验与结果

实验设置

  • 基准：LIBERO（Spatial / Object / Goal / Long / 90 共5子集），机器人桌面操作任务
  • 默认配置：M=2张历史图像，K=10的动作块大小，256/512分辨率
  • 评估指标：动作模型→成功率（SR）；世界模型→FVD↓/PSNR↑/SSIM↑/LPIPS↓

1. LIBERO 基准主结果

模型预训练SpatialObjectGoalLongAverage
Diffusion Policy✗78.392.568.350.572.4
Octo✓78.985.784.651.175.1
DiT Policy✓84.296.385.463.882.4
OpenVLA-OFT✓96.998.195.591.195.4
OpenVLA✓84.788.479.253.776.5
WorldVLA (256)✗85.689.082.659.079.1
WorldVLA (512)✗87.696.283.460.081.8

表1：LIBERO基准结果。WorldVLA在无预训练的情况下超越OpenVLA（76.5）达3-5个点，512分辨率带来显著增益。

2. 世界模型帮助动作模型

世界模型帮助动作模型

图4：动作模型可视化。上方为纯动作模型（直接移动到目标位置但未抓取成功）；下方为动作世界模型（反复尝试直到抓取成功）。

世界模型通过预测下一帧来学习环境物理动力学，为操作任务提供关键物理先验。此外，它赋予系统前瞻仿真能力——能预演候选动作的结果，从而选择最优动作。

从消融实验（表3）看：Row 1→2（加入世界模型）在Goal上从67.3提升至73.1，Long从23.0提升至27.3，验证了物理先验对长时域任务的重要性。

3. 动作模型帮助世界模型

动作模型帮助世界模型

图5：世界模型可视化。上方为纯世界模型（无法打开抽屉/物体消失）；下方为动作世界模型（生成连贯物理合理的结果）。

模型10帧FVD↓10帧PSNR↑10帧SSIM↑50帧FVD↓50帧PSNR↑50帧SSIM↑
Pure World Model250.029.6290.73718.623.9883.41
Action World Model255.129.7790.40674.124.3083.55

表2：世界模型消融。短序列（10帧）两者接近，但长序列（50帧）Action World Model的FVD降低6.2%（718.6→674.1），证实动作信息帮助长程视觉生成。

关键洞察：纯世界模型在长序列生成时随时间出现漂移、物体消失等退化现象；动作模型的视觉理解能力帮助世界模型"盯住"目标物体，使生成的视频在50帧尺度上仍保持物理连贯性。

4. 动作注意力掩码消融研究

动作块长度消融

图6：动作块长度消融。使用注意力掩码后，长动作块下成功率下降显著减缓。

索引动作模型世界模型动作Chunking注意力掩码GoalObjectSpatialLongAverage
1✓✗✗✗67.382.977.823.062.8
2✓✓✗✗73.188.080.227.367.2
3✓✗✓✗79.682.936.716.954.0
4✓✗✓✓84.490.981.849.376.6
5✓✓✓✓85.190.984.052.478.1

表3：完整消融实验。Row 3→4对比展示了动作注意力掩码的威力——Spatial从36.7跃升至81.8，Long从16.9提升至49.3，Average从54.0→76.6（+22.6%）。

对比Row 4→5说明：世界模型与注意力掩码的效果是叠加的——掩码阻断动作误差传播，世界模型提供物理先验，两者互补。

5. 世界模型 vs 视频预测模型对比

世界模型vs视频预测对比

图7：不同类型视觉生成模型对动作模型的帮助程度比较。

视觉辅助模型条件对动作模型的帮助
无—62.8（基线）
世界模型动作 + 图像+4.4%
视频预测模型仅图像/任务指令部分任务负收益

关键区别：世界模型以动作为条件，因此能学习动作与场景变化的因果关系；视频预测模型仅以任务指令为条件，下一帧预测存在固有歧义——同一图像可能对应多种合理未来，这种多模态歧义性反而可能引入训练噪声。

🔗 与Related Works的对比分析

维度OpenVLA (VLA)DreamerV3 (WM)UniPi (Video+Action)WorldVLA (Ours)
动作生成✓✗（需额外规划器）✓✓
世界模型✗✓✓✓
统一LLM框架✓✗✗✓
离散动作token✓✗✗✓
共享词汇表✗✗✗✓
动作注意力掩码✗✗✗✓
双向增强✗✗✗✓
无预训练性能76.5——81.8

从对比可见：WorldVLA的核心差异化在于"统一"——VLA+世界模型在单一LLM内互惠增强。它不是简单地将两个模型拼接，而是通过共享词汇表、联合训练、注意力掩码三个设计实现深度集成。

💡 个人思考与关键洞察

1. 动作即条件——世界模型的正确打开方式

纯世界模型做视频预测时，缺少"动作"条件意味着预测是病态的：给定当前帧，下一帧有无穷多种可能性（物体可能左移或右移）。WorldVLA证明了"以动作为条件的视频预测"才是世界模型在具身智能中的正确用法。动作决定了"你想要看到什么"，从而将预测问题从 $P(o_{t+1}|o_t)$ 的条件熵降低为 $P(o_{t+1}|o_t, a_t)$。

2. 注意力掩码：零参数却最高效

动作注意力掩码是典型的"less is more"设计。它不增加任何参数，不改变推理流程，仅通过修改注意力模式就解决了自回归动作块生成的误差累积问题。这一思路可以被推广到任何MLLM中的数值序列自回归生成任务（如轨迹点序列、控制信号序列）。

3. 离散化的双刃剑效应

将连续动作量化到256个bin，虽然实现了与文本/图像的模态统一，但量化误差 $\epsilon = \frac{a_{\max} - a_{\min}}{255}$ 限制了动作精度。从实验结果看，512分辨率（更精细的视觉感知）比256分辨率带来了3个点的提升，这暗示感知精度的提升部分弥补了动作精度的损失。未来的统一图像Tokenizer（如VQ-GAN的改进版）可能是突破方向。

4. 双向增强：1+1 > 2的关键在于共享表示

WorldVLA最令人兴奋的发现是：世界模型帮助动作模型（+4%成功率），动作模型也帮助世界模型（-10% FVD）。这种双向增强不是偶然——共享的视觉表示使得两个任务互为"正则化"：世界模型迫使视觉编码器理解动作的物理后果，动作模型迫使编码器关注与操作相关的视觉特征。

5. Chameleon初始化是成功的关键跳板

选择Chameleon（而非普通LLaMA或Qwen）作为骨干不是偶然。Chameleon本身就是统一图像理解与生成的模型，其预训练权重已经包含了"视觉token生成"的能力。在这个基础上去"嫁接"动作token化，远比从零开始训练要高效。这启示我们：选择一个好的统一基座模型，比设计复杂的模态桥接模块更重要。

6. Scaling Law的验证与局限

WorldVLA在512分辨率下比256好，说明模型受益于更好的视觉输入。但论文并未探索更大的模型规模（Chameleon有7B和34B两个版本，实验仅用7B）。从OpenVLA-OFT（95.4%）与WorldVLA（81.8%）的差距来看，预训练数据规模仍是关键瓶颈——WorldVLA在无预训练的情况下已显著超越OpenVLA，意味着如果WorldVLA用同等规模的机器人数据预训练，达到或超越OpenVLA-OFT是大概率事件。

未来方向

  • 数据与模型规模扩展：Scaling Law验证——更大的WorldVLA在更多机器人数据上会怎样？
  • 统一图像Tokenizer：当前VQ-GAN的码本对语义理解有限，设计感知+生成统一的tokenizer是关键
  • 辅助动作头：离散token化损失了精度，添加Q-Former或扩散头作为辅助输出可能进一步提升
  • 迁移到自动驾驶：WorldVLA已在机器人操作上验证，其思想（以动作为条件的视频预测 + 动作注意力掩码）在自动驾驶场景中同样适用

论文信息：Jun Cen, Chaohui Yu, Hangjie Yuan, Yuming Jiang, Siteng Huang, Jiayan Guo, Xin Li, Yibing Song, Hao Luo, Fan Wang, Deli Zhao, Hao Chen. “WorldVLA: Towards Autoregressive Action World Model” arXiv:2506.21539, June 2025.
代码：https://github.com/alibaba-damo-academy/WorldVLA
论文作者单位：DAMO Academy, Alibaba Group; Hupan Lab; Zhejiang University