📄 论文信息
- 标题：Qwen-VLA: Unifying Vision-Language-Action Modeling across Tasks, Environments, and Robot Embodiments
- 团队：阿里通义千问（Qwen 团队）— Qiuyue Wang、Mingsheng Li、Jian Guan、Junyang Lin、Shuai Bai、Jingren Zhou 等 40 余人
- 发表：arXiv:2605.30280（2026 年 5 月首发，34 页技术报告）
- 关键词：统一 VLA、认知主干+运动专家、DiT 动作解码器、跨本体协同训练、分布外泛化
- 一句话总结：把操作、导航、轨迹预测三类异构具身决策问题塞进同一个模型，靠"认知主干 + 运动专家“的解耦架构和”T2A→CPT→SFT→RL“四阶段训练，做到了一个模型横跨多机器人本体、多任务家族。
🤔 要解决什么问题？
具身智能长期被”一个任务一个模型“的研究范式割裂：做操作的不管导航，做导航的不碰轨迹预测，每个实验室再绑定一种机器人本体。结果是能力碎片化、跨任务无法迁移、跨本体几乎为零泛化。
Qwen 团队想回答一个根本问题：异构的具身决策问题，能不能用同一个视觉-语言-动作（VLA）模型来统一？
这条路有三个硬骨头：
- 任务异构：操作输出的是关节/末端连续动作，导航输出的是路径点，自动驾驶轨迹预测输出的是连续坐标——输出空间语义各不相同。
- 本体异构：单臂、双臂、人形、移动底盘，控制频率从 5Hz 到 50Hz，自由度从 7 到 20+。
- 训练不对称：视觉-语言骨干（VLM）已是强预训练状态，而动作解码器是随机初始化，朴素联合训练既低效又不稳定。
Qwen-VLA 的破局思路是双模块解耦 + 四阶段渐进：把"理解"和"动作生成"交给不同模块，再用一套渐进式训练策略让两者平稳对齐。
🧠 核心架构：认知主干 + 运动专家
Qwen-VLA 的设计哲学类比大脑分工——大脑皮层负责认知，小脑负责运动。论文原话称之为”cerebrum + cerebellum“式协作。
认知主干（Cognitive Trunk）：Qwen3.5 VLM
主干选用阿里自家的 Qwen3.5——一个原生多模态模型，关键特性有三：
| 特性 | 设计 | 作用 |
|---|---|---|
| 早期视听融合 | ViT + 空间合并的视觉 token 直接交错插入文本 token 流 | 图像/视频/语言在单一 Transformer 内统一处理 |
| 混合注意力 | 多数层用门控线性注意力（GLA），间隔插入分组查询 softmax 注意力 | 长多模态序列高效编码，关键位置保留全局精推理 |
| 强预训练先验 | 继承互联网级图文知识 | 免费"举一反三"的语义与空间推理能力 |
运动专家（Motor Expert）：DiT Flow Matching 解码器
动作生成挂在 VLM 外挂的一个单流 DiT 风格 Flow Matching 策略上，规模约 1.15B 参数（16 个 DiT block）：
- 输入拼接：把 VLM 隐藏状态与带噪动作 chunk 拼成一个序列，走联合 self-attention
- 条件注入：AdaLN 时间步调制 + 与骨干对齐的多段 RoPE
- 生成方式：Flow Matching 目标，推理时少量欧拉积分步即可输出，满足低延迟实时控制
- 解耦收益：大参数量的 VLM 不必承担高频动作生成，专家专心处理多模态、高频的动作分布
这种”大脑慢思考 + 小脑快执行“的分层，和 π0、GR00T 等当代 VLA 走在同一脉络上，但 Qwen-VLA 把专家做得更大（1.15B）也更"单流”，强调与主干 token 级的深度融合。
🪜 四阶段渐进训练策略
论文最有工程价值的部分，是它不对称地处理预训练好的 VLM 和随机的 DiT，避免后者把前者"带坏"。整套配方分四步：
| 阶段 | 名称 | 解冻模块 | 核心目标 |
|---|---|---|---|
| Stage I | T2A（Text-to-Action） | 仅 DiT 解码器 | 无视觉，纯语言+本体 prompt 重建动作，建立结构化动作先验 |
| Stage II | CPT（持续预训练） | VLM + DiT 全解冻 | 把动作先验接地到视觉观察，混合仿真与真机轨迹 |
| Stage III | SFT（监督微调） | 全模块，分两支 | 多任务支：VQA/定位/操作/导航联合微调；真机支：遥操作数据适配物理硬件 |
| Stage IV | RL（强化学习） | 全模块 | 用环境闭环任务成功奖励继续优化，跳出模仿学习的分布偏移 |
为什么先做 T2A？
这是论文最反直觉、也是最漂亮的一步。作者用"压缩视角“解释：一段操作轨迹可能是上千个关节值，而任务意图只用一句”pick up the red cup“加本体描述就能压缩表达。T2A 就是在学这条"解压缩映射”——故意拿掉图像，强迫 DiT 只靠语言去预测动作，从而学到"不同语言描述如何选择动作分布的不同区域"“本体 prompt 如何把同一意图调制成不同运动程序”。
消融数据显示，加入约 20% 合成 T2A 数据 + 80% 真实数据、采用全序列预测模式时，SFT 成功率从 60.9% 提升到 71.1%（+10.2 pp）。这证明 T2A 不是简单 warm-start，而是给解码器灌入了语言索引的动作结构。值得一提的是，chunk 预测模式在所有配比下都一致逊色于全序列预测（例如 10% 合成数据时落后 4.9 pp），说明让解码器从早期就接触完整时序的动作序列，对学到时间连贯性与组合性至关重要。
RoboInF 合成数据扩充
为支撑 T2A 与后续阶段，Qwen 团队还提出 RoboInF 数据生成管线，产出大量带细粒度动作描述的合成轨迹。同一 episode，相比粗糙任务标签，细粒度动作 caption 能为解码器提供更精确的语言索引信号。
这套数据覆盖短时序（抓取—搬运—放置的紧凑序列）到长时序（多物体、可分解为若干子任务）的不同难度，为统一模型在时域尺度上的泛化提供了基础。
🌐 跨任务统一：操作 + 导航 + 轨迹预测
统一的问题形式化
所有任务被塞进同一个条件预测框架：
给定视觉观察 oₜ、语言指令 x、本体描述 e、可选任务标识 z，预测未来 H 步目标序列 y： p_θ(y | oₜ, x, e, z)
不同任务的 y 语义不同，但都被塞进同一个张量接口：
| 任务族 | 输出 y 的含义 |
|---|---|
| 操作 | 末端位姿、关节角、夹爪开合、灵巧手关节 |
| 导航（VLN） | 每个路径点的 (Δx, Δy, Δθ) 相对位移与转向 |
| 轨迹预测（含自动驾驶/运动预测） | 自车或周围实体的连续空间轨迹 |
| 第一人称人因数据 | MANO/骨架关节的人体或手部运动轨迹 |
统一动作表示：H×K 张量 + 通道掩码
这是工程上的关键巧思：不强行把所有本体揉进同一物理语义空间，而是统一张量接口与掩码方案。
- 目标张量 Y ∈ ℝ^(H×K)，H 为预测时域，K 为统一通道数
- 每个样本只用前 c ≤ K 个有效通道，其余零填充
- 二值掩码 M ∈ {0,1}^(H×K) 标记哪些通道有效，阻止 padding 污染梯度
- 一套 DiT 参数搞定所有控制模式，无需本体专属输出头
本体感知 Prompt 条件化
每个训练样本前会拼一段机器人专属文本提示：
“The robot is {robot_tag} with {single arm / dual arms}[, waist][, and mobile base]. The control frequency is {FPS} Hz. Please predict the next {chunk_size} control actions to execute the following task: {ori_instruction}.”
一段纯文本就把机器人型号、臂配置、控制频率、预测时域全部告诉模型——换本体只需换 prompt，权重完全共享。
📊 实验结果：一个模型打全场
仿真操作：通才胜过专才
Qwen-VLA 在四个仿真基准上单模型横跨四平台，对比各基准分别微调的专才模型：
| 基准 | 平台类型 | Qwen-VLA-Instruct | 对比要点 |
|---|---|---|---|
| LIBERO | 单臂桌面 | 97.9% | 与最佳专才持平 |
| Simpler-WidowX | 真实到仿真 | 73.7% | 超过多数专才 |
| RoboCasa-GR1 | 双臂人形厨房 | 56.7% | 大幅超过 π0.5(37.0%)、GR00T N1.6(49.9%)、Being-H0.5(53.3%) |
| RoboTwin 2.0 | 双臂 Easy/Hard | 86.1% / 87.2% | 双难度均强 |
结论很硬：一个通才模型，在多数基准上反超为每个平台单独训练的专才。
真实世界 ALOHA 双臂
在 ALOHA 双臂平台上做了 in-domain 与 OOD 双重评测，覆盖抓取放置、清桌、叠碗、毛巾折叠、精细操作六类任务。从 Qwen-VLA-Base 微调的版本（w/ pretrain）相对从零训练版本（w/o pretrain）有显著提升，证明大规模具身预训练能迁移到物理硬件。
视觉语言导航（VLN-CE）
在 R2R / RxR 的 Val-Unseen 上：
- R2R：Oracle SR 69.0、SR 57.5，超过 StreamVLN
- RxR：SR 59.6、SPL 47.8，领先所有开源基线
分布外（OOD）泛化
这是 Qwen-VLA 最亮眼的卖点。它在场景布局、背景、光照、物体配置、机器人本体五种扰动下保持鲁棒：真实 ALOHA 实验平均 OOD 成功率 76.9%，DOMINO 动态操作零样本成功率 26.6%。
消融还揭示两点：其一，视觉-语言协同训练（VL+VLA）不干扰简单任务，反而提升复杂任务——互联网图文知识是真金白银的先验；其二，RL 后训练在 SimplerEnv 采样的 rollouts 上持续提升各阶段成功率与 DOMINO 操作分数。
关键消融结论
| 消融维度 | 结论 |
|---|---|
| T2A 配比 | ~20% 合成 + 80% 真实、全序列预测最佳 |
| VL 协同训练 | 简单基准持平，复杂基准（RoboTwin/RoboCasa）显著受益 |
| 多本体协同 | 跨本体数据互为正则，单本体训练反而更易过拟合 |
| RL 后训练 | 闭环奖励持续提升任务成功率与动态操作分数 |
| 状态条件 | 显式注入本体状态可进一步提升 RoboTwin-2.0 表现 |
⚔️ 与 DriveVLM、EMMA 等的横向对比
Qwen-VLA 的定位是通用具身基础模型，而 DriveVLM、EMMA 是自动驾驶垂域代表，二者的差异本质上是"广 vs 深"：
| 维度 | DriveVLM | EMMA（Waymo） | Qwen-VLA |
|---|---|---|---|
| 目标领域 | 自动驾驶场景理解与推理 | 端到端多任务驾驶 | 跨域具身：操作+导航+轨迹预测 |
| 架构 | VLM + 小模型双系统 | Gemini 单大模型 | Qwen3.5 VLM + DiT 动作专家 |
| 动作输出 | 不直接输出动作，下发规划 | 轨迹/感知多任务头 | 统一 H×K 张量，含驾驶轨迹 |
| CoT 推理 | 显式描述→分析→推理链 | 隐式，端到端 | 继承 VLM 推理能力，无强结构化链 |
| 本体泛化 | 单一自车 | 单一自车 | 多本体 prompt 条件化 |
| 训练范式 | 监督微调 | 监督多任务 | T2A→CPT→SFT→RL 四阶段 |
核心洞察：DriveVLM/EMMA 把"自动驾驶"做深，Qwen-VLA 把"具身决策"做广——把驾驶轨迹预测视作统一动作空间的一个特例。从自动驾驶视角看，Qwen-VLA 提供了一种新思路：与其为驾驶单独训模型，不如把它纳入更宽的具身动作分布，让机器人操作学到的空间推理与运动先验反哺轨迹生成。
🚗 自动驾驶与机器人：双领域应用价值
Qwen-VLA 真正的看点是双领域复用：
- 机器人侧：LIBERO 97.9%、RoboTwin 86.1%/87.2%、RoboCasa 56.7%，单模型覆盖单臂/双臂/人形/移动平台，已具备实用级操控能力。
- 自动驾驶侧：问题形式化中显式纳入"autonomous driving"与"motion forecasting"——把自车未来轨迹和周围实体轨迹都塞进统一预测空间。配合导航数据的 (Δx, Δy, Δθ) 路径点表征，Qwen-VLA 天然适配低速/园区/泊车等需要语义理解的轨迹规划场景。
对自动驾驶从业者的启示有三：
- 动作即轨迹：用 Flow Matching 动作专家直接生成连续驾驶轨迹，绕开传统离散规划管线
- 本体 prompt 可迁移：把"车型、控制频率、预测时域"写进 prompt，车队异构配置无需重训
- OOD 鲁棒性可借鉴：场景/背景/光照扰动的泛化机制，正是长尾 corner case 的解药
📝 个人思考
Qwen-VLA 最打动我的是它的"工程克制"。四阶段训练看似繁复，实则是把一个不可能稳定的联合训练问题（强预训练 VLM + 随机 DiT）拆成了可解的子问题——T2A 用纯语言先驯服解码器这一招尤为巧妙，本质上是在用语言作为动作分布的"索引压缩"，让解码器在没看到图像前就建立结构化先验。这种思路对任何"大模型 + 小头"的架构都有借鉴价值。
第二点启发是统一表示的边界。Qwen-VLA 没有强行统一物理语义（不像一些工作要求所有机器人映射到同一坐标系），而是统一张量接口 + 通道掩码 + prompt 条件化——这是务实的工程妥协：把"统一"做到梯度不冲突的程度，剩下的交给模型自己学。掩码防污染、prompt 标识本体，是简洁但关键的两个 trick。
第三点是关于自动驾驶的定位。论文把驾驶轨迹预测列为统一动作空间的一项，但我注意到主实验更侧重操作和导航，驾驶相关的定量结果偏少。这意味着 Qwen-VLA 当前更像是给自动驾驶提供了一种架构范式（认知主干 + 运动专家 + 四阶段），而非直接可用的驾驶模型。真正要上车，还需要大规模驾驶轨迹数据和闭环仿真验证——而这正是 DriveVLM/EMMA 之类垂域工作的护城河。
总体而言，Qwen-VLA 是国产 VLA 路线的一次体系化宣言：它证明了"一个模型搞定多任务、多本体、跨域泛化“在工程上已经跑通，剩下的差距主要是数据与算力。对机器人与自动驾驶这两个长期分裂的社区，它指明了一条统一基础模型的可行路径。
🔗 延伸阅读
| 工作 | 团队 | 与 Qwen-VLA 的关系 |
|---|---|---|
| π0 / π0.5 | Physical Intelligence | 同为"VLM + Flow Matching 动作专家"路线，Qwen-VLA 在 RoboCasa 上反超 π0.5 |
| GR00T N1.x | NVIDIA | 人形机器人基础模型，Qwen-VLA 在 RoboCasa 上领先 |
| DriveVLM | 上海交大 × 蔚来 | 自动驾驶 VLM 代表，垂域做深；Qwen-VLA 做广 |
| EMMA | Waymo | Gemini 端到端驾驶，单大模型 vs Qwen-VLA 双模块 |
| OpenVLA | Stanford/Princeton | 开源离散化 VLA，对比对象 |
| StarVLA | 社区 | 开源 VLA 代码库，Qwen-VLA 评测协议与其对齐 |
| Diffusion Policy | Columbia/TRI | 扩散动作生成，DiT Flow Matching 的近亲对照 |
📖 这是论文精读系列的第 10 篇。当一个模型同时把手臂操作、室内导航和驾驶轨迹都纳入统一动作空间，你认为自动驾驶会从中受益，还是会被通用具身模型"反向吞噬”？欢迎留言讨论。