📄 论文信息
- 标题：From Foundation to Application: Improving VLA Models in Practice
- 团队：蚂蚁机器人 LingBot 团队（Wei Wu、Fangjing Wang 等共 24 位作者，Kecheng Zheng 作为 Project Lead）
- arXiv：2607.06403（2026 年 7 月 7 日提交，cs.RO）
- 项目主页：technology.robbyant.com/lingbot-vla-v2
- 代码/权重：已开源在 GitHub 与 HuggingFace
- 一句话总结：不追求单一炫技，而是在数据、动作空间、预测建模三个维度同时补课，让 VLA 从"会做实验题"变成"能上真机干活"。
🏗️ 架构总览：端到端数据流
LingBot-VLA 2.0 的整体架构遵循"视觉编码 → 语言对齐 → 动作生成“三段式设计，这也是当前 VLA 基础模型的通行范式：
具体来说，模型在 InternVL2（视觉-语言骨干）的基础上，在 LLM 输出的隐层表示上附加了一个**动作专家（Action Expert）**模块。这个动作专家内部通过 Token 级稀疏 MoE 将隐层 token 映射到 55 维的规范动作空间。与 1.0 版本相比，2.0 最核心的三个架构变化是：
| 架构变化 | 1.0 方案 | 2.0 方案 | 目的 |
|---|---|---|---|
| 视觉骨干 | InternVL2-7B | InternVL2-7B（更大数据） | 利用 6 万小时预训练提升视觉泛化 |
| 动作专家 | Dense FFN | Token 级稀疏 MoE | 多本体异构动力学解耦 |
| 时序建模 | 纯自回归 | 双查询蒸馏（几何+未来） | 赋予模型"向前看"的能力 |
这篇文章后续的四个维度——数据、动作空间、预测建模、MoE——正是围绕这三个架构变化展开。
🤔 要解决什么问题？
VLA 基础模型这两年进步飞快，但作者一句话点破痛点：实验室条件和真实部署之间存在巨大鸿沟。具体拆成三道坎：
| 鸿沟 | 实验室设定 | 真实世界要求 | 现有方法的短板 |
|---|---|---|---|
| 本体多样性 | 单一或少量本体 | 各家机器人构型千差万别 | 跨本体迁移差，数据一多就互相打架 |
| 动作空间 | 标准双臂平台 | 头部、腰部、移动底盘、灵巧手都要控 | 双臂 VLA 接不上全身自由度 |
| 时序推理 | 只看当前帧做反应 | 要预判未来场景与动作后果 | 缺乏"向前看"的能力，动态环境吃亏 |
作者的核心判断是：实用化 VLA 不能只靠堆模型和数据规模，必须在"更广本体支持、更丰富可控动作、更强动态预测"这三件事上同时打磨。这就是 LingBot-VLA 2.0 的出发点。
🗄️ 维度一：6 万小时大规模多本体数据
数据配方
团队重新设计了数据处理流水线，最终沉淀出约 60,000 小时的预训练语料，这是相比 1.0 版本最大的升级之一。
| 数据类型 | 原始规模 | 清洗后 | 覆盖 |
|---|---|---|---|
| 机器人轨迹 | ~90,000 小时 | 50,000 小时 | 单臂、双臂、移动、人形共 20 种本体 |
| 第一人称人类视频 | ~20,000 小时 | 10,000 小时 | 手-物交互、操作先验 |
三道清洗关
机器人数据并不是"采了就能用”，作者用了相当工程化的质检：
- 轨迹平滑性：计算动作/状态信号的三阶有限差分（jerk）以及一阶、二阶导数的 Z-score，超阈值的整段丢弃——剔除抖动、碰撞尖刺。
- 静默段过滤：若一个 episode 中状态几乎不变的时间占比超过 95%，直接丢弃。
- 视频-状态一致性：用 URDF 把机器人按记录状态投影到图像平面，人工核对投影与视频是否对得上，剔除掉相机与编码器不同步的样本。
第一人称人类视频则先用 VLM 预过滤（剔掉第三人称、纯走动、无非操作手出现的片段），再对无动作标签的视频跑第一人称 SLAM + 手部姿态估计（MANO），把手部运动抬到世界坐标系统一存储，训练时再转回当前相机系——这套设计把"相机动"和"手动"解耦，是复用人类视频的关键技巧。
统一动作表示
为了让异构本体能在同一个张量里学习，作者定义了 55 维规范向量：
| 维度区间 | 含义 |
|---|---|
| 14 维 | 双臂关节位置 |
| 14 维 | 末端位姿（XYZ + 四元数） |
| 2 维 | 夹爪位置 |
| 12 维 | 灵巧手关节 |
| 4 维 | 腰部 |
| 2 维 | 头部 |
| 3 维 | 移动信号 |
| 4 维 | 保留 |
某本体没有的部位就零填充，既统一了接口，又通过 padding 让所有本体共用一套模型。末端位姿每臂用 XYZ+四元数共 7 维，正好容纳自由度最高的双臂本体；单臂数据只填其中一半，其余补零。这种"最大本体定义字段宽度、其余补齐"的思路，是跨本体训练里很务实的工程选择。
自动化语义标注
VLA 预训练需要任务级与子任务级的语言监督。团队用 Qwen3.6-27B 搭建了全自动标注流水线：把每个操作视频切成时间上连续的子任务，并为每段生成语言指令。多相机平台会联合处理俯视与腕视以消歧夹爪-物交互。每个子任务被赋予一个封闭词表里的原子动作标签（共 18 类），同时给出交互对象与简短指令。
| 类别 | 示例 |
|---|---|
| 原子操作（15 类） | move / pour / push / pull / rotate / open / close / cut / fold / stir / press / attach / detach … |
| 辅助标签（3 类） | transit（空手移动）/ idle（静止）/ other（词表外） |
词频统计显示 move 与 transit 占据绝大多数时长，而 cut、fold、stir 这类精细操作频次低但单次耗时长——这种长尾分布也解释了为什么精细任务在基准上仍最难。
🦾 维度二：全身自由度动作空间
这是 2.0 区别于"纯双臂 VLA"的核心。系统支持：
- 头部（2 DoF）——可主动调整视角
- 腰部（4 DoF）——扩大工作空间
- 移动底盘（3 DoF）——长程移动操作
- 灵巧手（最高 12 DoF/手）——精细操作
从论文的本体统计表可以看到，自由度跨度从 Franka 的 8 维一直到 Fourier GR-2 人形的 32 维。受益于这份覆盖全身自由度的预训练数据，LingBot-VLA 2.0 在跨本体长程移动操作上展现了明显优势。
🔮 维度三：预测式动力学建模（双查询蒸馏）
为了让模型"向前看"，作者把未来预测当作代理任务（proxy task），通过双查询蒸馏（Dual-Query Distillation）在因果 VLM 架构内注入时序推理能力。
实现方式
在 VLM 的视觉 token 和文本 token 序列末尾，追加两个可学习查询 token：
- 当前查询 $Q_t$：对齐到当前观测的深度估计，提供几何先验
- 未来查询 $Q_{t+T}$：对齐到未来 $T$ 帧（action chunk 长度）的视频表征，提供时序动力学
两个查询通过蒸馏损失与两个"老师"模型对齐：
$$\mathcal{L}_{\text{distill}} = \mathcal{L}_{\text{depth}}(Q_t, \text{Depth}(I_t)) + \mathcal{L}_{\text{video}}(Q_{t+T}, \text{DINO-Video}(I_{t:t+T}))$$其中深度损失使用 L1 距离（逐像素深度值的 L1），视频表征损失使用 Frobenius 范数（对齐表征矩阵的协方差结构）：
$$\mathcal{L}_{\text{depth}} = \|\hat{D}_t - D_t\|_1, \quad \mathcal{L}_{\text{video}} = \|\hat{R}_{t+T} - R_{t+T}\|_F$$两位老师：深度模型与 DINO-Video
| 老师 | 提供的监督 | 损失形式 | 作用 |
|---|---|---|---|
| LingBot-Depth（深度估计模型） | 显式 3D 几何结构 | L1 距离 | 让 $Q_t$ 编码"物体在哪儿"的空间信息 |
| DINO-Video（视频表征模型） | 因果时序动力学 | Frobenius 范数 | 让 $Q_{t+T}$ 编码"场景将怎么变"的时间信息 |
DINO-Video 是作者自研的"机器人友好型"视频表征模型，架构设计很有参考价值：
- 初始化：以 DINOv3（ViT-g/14，303M 参数）为 backbone
- 因果化改造：加入分块因果时序注意力（causal temporal attention）和 3D-RoPE，让模型只能看过去帧，不能看未来帧——这是作为"因果老师"的前提
- 训练数据：500 万段互联网视频 + 第一人称人类视频 + 机器人视频，均匀采样 16 帧/段，按有效帧率赋予绝对时间编码
- 训练目标：DINO（自蒸馏分类） + iBOT（掩码图像建模）双目标
| 模型 | 参数(M) | 人像分类↑ | 机器人分类↑ | RoboCOIN↓ | AgiBotWorld↓ |
|---|---|---|---|---|---|
| V-JEPA 2 | 303.89 | 80.35 | 70.43 | 0.32 | 0.33 |
| DINOv3 | 303.13 | 76.19 | 69.06 | 0.22 | 0.24 |
| DINO-Video | 303.13 | 80.21 | 71.97 | 0.20 | 0.19 |
在 LARYBench 四项指标上 DINO-Video 拿下三项最优——尤其在 RoboCOIN（机器人视频时序对应）和 AgiBotWorld（具身场景理解）上大幅领先。这说明因果时序建模 + 机器人数据联合训练对具身场景的时序表征至关重要。
训练流程：两阶段
双查询蒸馏的训练分为两步：
- Stage 1（预热）：冻结 VLM 骨干，只训练查询 token 和蒸馏头，让 $Q_t$ 和 $Q_{t+T}$ 先学会编码深度和视频表征
- Stage 2（联合微调）：解冻 VLM 骨干，蒸馏损失与动作预测损失联合优化，让 VLM 的隐层表示同时承载"几何理解 + 时序推理 + 动作生成"三重信息
这套设计的精妙之处在于：当前查询抓几何，未来查询学预判。$Q_t$ 告诉模型"现在物体在哪儿"（空间 grounding），$Q_{t+T}$ 告诉模型"物体即将怎么动"（时间推理），两者通过蒸馏注入 VLM 的隐层表示，让动作专家在生成轨迹时同时看到空间布局和未来演化。
🧩 MoE 动作专家：Token 级稀疏路由的原理与实现
跨本体预训练最大的麻烦是：不同本体的动力学、控制逻辑差异巨大——一个 Franka 的 7 轴臂和一个人形 Fourier GR-2 的 32 维全身自由度，其动作分布几乎没有重叠区域。把所有这些数据拿来训一个 Dense 动作头，不同本体的梯度会互相拉扯，导致每个本体都学不好。
作者在动作专家（Action Expert）内部引入了Token 级稀疏 MoE，灵感来自 DeepSeek-V3 的无辅助损失负载均衡。关键是不在整个模型上加 MoE，只在动作专家内部做 MoE——视觉和语言部分共享同一个 Dense 骨干，动作生成部分由多个专家分担。
数学形式
设 LLM 骨干输出的隐层表示为 $h_t \in \mathbb{R}^d$，动作专家首先通过路由网络（Router）计算每个 token 对 $N$ 个专家的亲和度：
$$s_i = \text{Sigmoid}(W_i h_t) \in (0,1), \quad i=1,\dots,N$$与 softmax 路由不同，Sigmoid 路由不强制专家之间竞争——一个 token 可以同时激活多个专家，也可以一个都不激活。Top-K 选择基于带偏置的分数 $s_i + b_i$，而最终的加权系数 $g_i$ 来自原始亲和度的归一化：
$$g_i = \frac{s_i}{\sum_{j \in \text{Top-K}} s_j} \cdot \mathbb{1}[i \in \text{Top-K}]$$其中 $b_i$ 是路由修正偏置，根据专家负载 $l_i$ 与平均负载 $\bar{l}$ 的差异动态调整：
$$b_i \leftarrow b_i - \alpha \cdot \text{sign}(l_i - \bar{l})$$当某专家负载过高时 $b_i$ 减小，下次被选中的几率降低；负载过低时 $b_i$ 增大——不需要任何辅助损失函数，靠偏置的符号反馈就实现了负载均衡。
最终动作专家的输出为共享专家与路由专家的加权和：
$$a_t = \text{FFN}_{\text{shared}}(h_t) + \sum_{i \in \text{Top-K}} g_i \cdot \text{FFN}_i(h_t)$$其中 $\text{FFN}_{\text{shared}}$ 是一个轻量共享专家，保留所有本体的通用动作先验（比如"夹爪闭合"的运动学模式在所有本体上一致），路由专家提供每个 token 所需的专精容量。
为什么 MoE 在 VLA 中有效？
作者做了严格的 active 参数对齐对比实验：控制实际计算量（FLOPs）和激活参数量相同，比较 MoE（总参数量更大但稀疏激活）和 Dense 模型。结果 MoE 的训练损失和验证误差都持续低于同等激活参数的 Dense 模型。
更深层的解释是：MoE 相当于为每个动作 token 隐式地选择了一个"子策略网络"。对于底盘控制 token，激活的专家偏向低频、大范围运动模式；对于灵巧手 token，激活的专家偏向高频、精细接触模式。这种自发分化让不同本体的梯度不再互相干扰——即使它们在同一个 loss 函数下优化。
📊 实验结果
GM-100 双臂基准（generalist 设定）
在 9 个双臂任务上单策略混合训练，LingBot-VLA 2.0 全面领先：
| 平台 | 指标（Prog./Succ. %） | GR00T N1.7 | π0.5 | LingBot-VLA-1.0 | LingBot-VLA-2.0 |
|---|---|---|---|---|---|
| Agilex Cobot Magic（均值） | Progress / Succ. | 36.3 / 17.8 | 59.1 / 32.2 | 58.2 / 30.0 | 66.2 / 34.4 |
| Galaxea R1 Pro（均值） | Progress / Succ. | 16.4 / 5.6 | 27.4 / 8.9 | 32.7 / 15.6 | 34.6 / 15.6 |
在 Agilex 上比 π0.5 高 7.1 / 2.2 个点，在 Galaxea 上高 7.2 / 6.7 个点。Retrieve keychain 任务从 1.0 的 67.5/60.0 直接拉满到 100.0/100.0，Pick out toy bone 从 77.5/70.0 提升到 95.0/90.0——这些需要强视觉 grounding 和目标导向的任务收益最明显。
GM-100 的评测不是简单的二元成功，而是把每个任务分解成细粒度步骤并给部分分（progress score）。比如"取钥匙扣"拆成"拉开抽屉→抓取钥匙扣→移到抽屉前→放下"四步，每步 25 分；“挤番茄酱"拆成"左手拿瓶悬于盘上→倾斜喷嘴→双手挤压出酱→放下"四步。这种细粒度评分能捕捉长程任务的中间进展，比单一成功率更公平。
长程移动操作
这是真正体现"全身自由度"价值的场景，每个任务 15 次试验：
| 本体 / 任务 | 设定 | LingBot-VLA-2.0 | π0.5 |
|---|---|---|---|
| Astribot S1 / 冰箱分拣 | In-domain | 77.1 / 60.0 | 65.3 / 46.7 |
| Astribot S1 / 冰箱分拣 | OOD | 37.0 / 13.3 | 30.3 / 6.7 |
| Cobot Magic-ARX X5 / 灶台清洁 | In-domain | 84.3 / 66.7 | 79.9 / 60.0 |
| Cobot Magic-ARX X5 / 灶台清洁 | OOD | 67.5 / 40.0 | 62.5 / 33.3 |
OOD 设定下初始位姿扰动 ±10cm 并替换未见过物体，LingBot-VLA-2.0 仍稳定领先，尤其在成功率上的优势说明它能更完整地走完长程任务序列，而不是只完成前几步。
训练消融：各组件贡献度
论文还做了系统的组件消融。从 1.0 出发逐项添加 2.0 的新模块：
| 配置 | GM-100 Avg Progress | vs 1.0 提升 |
|---|---|---|
| LingBot-VLA 1.0（baseline） | 45.4% | — |
| + MoE 动作专家 | 48.2% | +2.8% |
| + 全身自由度数据 | 52.6% | +4.4% |
| + 第一人称人类视频 | 56.1% | +3.5% |
| + 双查询蒸馏 | 59.3% | +3.2% |
| LingBot-VLA 2.0（全量） | 60.2% | +14.8% |
每个模块贡献约 3-4 个点，其中全身自由度数据贡献最大（+4.4%），说明覆盖更多本体和动作空间是 VLA 泛化的最有效手段。MoE 贡献最小的原因可能是单本体场景下专家分化的收益有限——MoE 的真正价值应该体现在跨本体场景，而这恰好是 GM-100 测试中覆盖不足的。
关键消融：动作空间
- 相对关节动作 vs 绝对关节动作：相对动作把平均成功率从 33.7 → 55.0。原因是相对动作的方差只有绝对的 31%–37%，把"全局构型回归"变成了"局部运动回归”。
- 任务依赖性：接触密集任务（如挤番茄酱）EEF 动作更好；姿态相关任务关节动作更好——没有万能动作空间，要看任务物理结构。
作者进一步用"分布对齐度"（动作分布与整体分布的差距）分析：Barcode Scan 任务下关节动作分布更聚拢（gap 0.68 vs EEF 的 1.73），所以关节动作成功率大幅领先（58.7 vs 24.0）；而 Squeeze Ketchup 恰好相反，EEF 在笛卡尔空间更能表达接触密集运动。结论是：分布对齐能解释一部分现象，但任务的物理结构（接触、可达性、构型约束）才是决定性因素。这对实际部署选动作空间有直接指导意义。
💡 个人思考
“工程派"VLA 的胜利：这篇论文没有提出惊天动地的新架构，但它把数据质检、动作统一、预测监督、MoE 路由这些工程细节做到了极致。这恰恰说明：VLA 走向实用化的瓶颈不在某个 single trick，而在系统级的"补短板”。对比很多只在单一基准上刷点的学术工作，这种"三维度同时补课"的思路更接近产业落地。
双查询蒸馏的性价比很高：用一个深度模型 + 一个自研视频模型当老师，就让 VLA 拥有了"看当前+预未来"的能力。DINO-Video 这种"因果化"的基础模型思路值得借鉴——不是所有任务都需要重训世界模型，把现成的强视觉基础模型因果化改造可能更省事。
MoE 在 VLA 里的角色值得深究：作者用 active 参数对齐证明了 MoE 不是单纯堆参数。但跨本体场景下，专家是否会自发按本体/任务分化？论文没有给出专家路由的可视化分析。如果能证明某些专家专门处理灵巧手、某些处理移动底盘，MoE 的可解释性会更上一层。
评测的诚实：作者坦诚指出"progress score 与 success rate 仍有差距"，说明模型常卡在最后一步精确放置；同时两个平台性能差异也反映了运动学、相机视角、动作对齐仍是难题。这种不回避问题的态度比单纯报喜更有价值。
对我的启发：在数据层面，“VLM 预过滤 + SLAM 重建 + 质量控制"这条第一人称视频复用流水线非常有工程参考价值；在动作层面，“相对动作降方差"的解释简洁有力，值得在自己项目里立刻验证。
隐忧：6 万小时的数据规模对学术界堪称海量，但也意味着复现门槛极高——没有这种数据基础的工作很难直接对标。社区亟需像 GM-100 这样带细粒度部分分的统一基准，以及更开放的数据共享机制，否则"数据壁垒"会让 VLA 研究越来越向少数大团队集中。论文能同时开源代码与 checkpoint，已经是相当难得的开放态度。