📄 论文信息
- 标题:A Pragmatic VLA Foundation Model(一个务实的 VLA 基础模型)
- 团队:Wei Wu、Fan Lu、Kecheng Zheng、Yujun Shen 等 25 人(乐博尼克 Robbyant)
- arXiv:2601.18692(2026 年 1 月 26 日首发,6 月 15 日 v4 修订)
- 模型名:LingBot-VLA
- 领域:cs.RO / cs.CV
- 开源:代码
github.com/Robbyant/lingbot-vla、基座模型、基准数据集 GM-100(HuggingFace) - 一句话总结:标题里的"Pragmatic(务实)“是全篇的题眼——不追求"最大参数、最多任务"的噱头,而是死磕”真机可部署“这件最实际的事:用 9 种双臂构型、2 万小时真机数据训出强泛化基础模型,配套开源高效代码库(8 卡 261 样本/秒)和 GM-100 基准,把 VLA 从"论文模型"推向"产线工具”。

图1:LingBot-VLA 整体架构。左上:真机数据采集与自动标注流程;右上:统一动作空间与深度蒸馏;下方:9 种双臂构型及下游测评平台。
🤔 要解决什么问题?
视觉-语言-动作(VLA)基础模型 被视为通用机器人的核心。一个"好用"的 VLA 基础模型,必须同时满足两个条件:
| 要求 | 含义 | 现状 |
|---|---|---|
| 泛化能力 | 跨任务、跨平台都能用 | 大多只在单一平台/任务验证 |
| 适配效率 | 下游适配的数据/算力成本低 | 很多模型"大而贵",适配负担重 |
但现实是,大多数学术 VLA 工作在这两点上都有水分——要么只在单一机器人构型上验证(换个平台就废)、要么适配成本高得离谱(动辄几百小时 GPU)。这导致 VLA 模型虽然在论文里"刷榜",到了真机产线却"水土不服"。
LingBot-VLA 的破题:与其卷"更大的模型",不如卷"更务实的基础模型"——用一个真正跨平台、跨任务、低成本适配的 VLA,把"真机可部署"这件事做到极致。
核心命题:一个 VLA 基础模型,能否在 9 种双臂构型上预训练后,仅需少量后训练就能在新平台新任务上表现出色? LingBot-VLA 给出了肯定的回答。
💡 核心思想:务实三件套
LingBot-VLA 的"务实"体现在三个层面:务实的规模、务实的验证、务实的工具链。
务实一:跨构型大规模真机数据
数据是 VLA 的命脉。LingBot-VLA 用了一个相当硬核的数据规模:
| 维度 | 数量 | 为什么重要 |
|---|---|---|
| 真机数据时长 | 约 20,000 小时 | 远超大多学术数据集,保证行为多样性 |
| 双臂构型 | 9 种主流配置 | 跨构型预训练,逼出真正的跨平台泛化 |
| 数据来源 | 真实世界采集 | 避免 sim-to-real gap |
9 种双臂构型是关键——这意味着模型在预训练阶段就"见过“各种各样的硬件配置(不同的臂长、关节布局、末端执行器),从而学到了与具体构型解耦的动作策略。这是跨平台泛化的根本保证,也是大多数只在单一平台训练的 VLA 所欠缺的。
务实二:跨平台跨任务的系统化评测
光训出来不够,还得系统地证明它好。LingBot-VLA 设计了一套相当扎实的评测协议:
| 评测维度 | 设计 |
|---|---|
| 平台数 | 4 个机器人平台 |
| 任务数 | 每平台 100 个任务 |
| 后训练 episode 数 | 每任务 130 个 episode |
这意味着评测覆盖了 4 × 100 = 400 种任务,且每种任务都有 130 个后训练样本——这是一个统计意义上有说服力的评测规模。结果证明 LingBot-VLA 在这个严苛评测上全面优于竞争对手,展现出强泛化与广适用性。
务实三:高效开源代码链
这是我认为最有产业价值的一环。LingBot-VLA 团队构建了一个高效代码库:
| 指标 | LingBot-VLA 代码库 | 对比 |
|---|---|---|
| 训练吞吐 | 8 卡 261 样本/秒 | — |
| 加速比 | 1.5~2.8 倍(取决于 VLM 基座) | 相对现有 VLA 代码库 |
这个加速比对学术界和产业界都意义重大——VLA 训练动辄需要大量 GPU 小时,1.5-2.8 倍的提速意味着研发成本直接砍半到三分之一。这种”让所有人都训得起 VLA“的工具链,是务实主义的最高体现。
开源三件套
LingBot-VLA 的开源相当彻底,覆盖了研发全链路:
| 开源内容 | 用途 |
|---|---|
| 代码库 | 训练 + 推理,含高效实现 |
| 基座模型 | 直接拿来后训练 |
| GM-100 基准数据 | 标准化评测 |
这套”代码 + 模型 + 数据“的全开源,让任何人都能复现、迭代、扩展——这是把 VLA 推向社区共建的务实姿态。
🧠 技术细节:跨构型泛化的关键
虽然论文主打"务实”,但背后的技术设计同样有讲究。要在 9 种构型上预训练出能泛化的模型,关键在于处理构型异构性:
| 挑战 | 务实解法 |
|---|---|
| 动作空间维度不同 | 统一到相对/归一化动作表示 |
| 本体感受(proprioception)异构 | 构型条件化的本体感受编码 |
| 末端执行器差异 | 抽象到统一的"末端位姿/夹爪状态"层 |
这些设计哲学的核心是:让模型学"意图层面的动作"而不是"关节层面的指令"——前者跨构型可迁移,后者绑定特定硬件。这与 ABot-M0.5 的"潜在动作"思想异曲同工,都是用抽象层来解耦具体 embodiment。
🏗️ 架构解析:Mixture-of-Transformers

图2:LingBot-VLA 的 MoT(Mixture-of-Transformers)架构。左侧为 VLM 骨干(Understanding Expert),右侧为 Action Expert,通过 Joint Attention 耦合。
双专家 MoE 设计
LingBot-VLA 的核心架构是 MoT(Mixture-of-Transformers),由两个专家构成:
| 专家 | 功能 | 参数 | 训练策略 |
|---|---|---|---|
| Understanding Expert | VLM 骨干,语义理解 | 冻结预训练权重 | 仅参与前向传播 |
| Action Expert | 动作生成,机器人控制 | 轻量可训练 | 全参数微调 |
两个专家各自独立计算 Q、K、V,然后在 token 维度拼接后执行联合注意力(Joint Attention),输出再拆分路由回各自分支。这种设计的精妙之处在于:语义专家提供丰富的视觉-语言表征,动作专家在此基础上专攻操控策略,两者互不干扰却又深度融合。
统一动作空间
跨构型预训练的核心挑战是动作空间的异构性。LingBot-VLA 的解法是构建一个抽象的统一动作空间:
物理关节角度 $\mathbf{q}\in\mathbb{R}^N$ 首先被映射为末端执行器的相对位姿变换:
$$\mathbf{T}_{t\to t+1} = \begin{bmatrix} \mathbf{R}_{t\to t+1} & \mathbf{p}_{t\to t+1} \\ \mathbf{0} & 1 \end{bmatrix} \in SE(3)$$其中 $\mathbf{R}$ 是旋转矩阵,$\mathbf{p}$ 是平移向量。这个 $SE(3)$ 变换与具体构型解耦——不管你有 6 个关节还是 7 个关节,末端位姿的表示维度是统一的。
Flow Matching 动作头
动作生成采用 Flow Matching 范式,它与扩散模型的根本区别在于推理路径是确定性的。设 $x_0$ 为初始噪声,$x_1$ 为真实动作,Flow Matching 学一个向量场 $v_\theta(x, t)$ 将噪声沿直线路径积分到目标动作:
$$\frac{dx}{dt} = v_\theta(x, t), \quad x(t) = (1-t)x_0 + tx_1$$训练损失是最简单的 MSE:
$$\mathcal{L}_{\text{FM}} = \mathbb{E}_{t\sim\mathcal{U}(0,1), x_0\sim\mathcal{N}(0,\mathbf{I}), x_1\sim\mathcal{D}} \left[ \| v_\theta(x(t), t) - (x_1 - x_0) \|^2 \right]$$推理时从 $x_0$ 出发,沿 ODE 积分 $T$ 步即可得到动作。相比扩散模型的数百步去噪,Flow Matching 通常只需 4-8 步即可收敛,这是 LingBot-VLA 达到 261 样本/秒高吞吐的关键原因之一。
深度引导蒸馏
论文还提出了一个巧妙的教学法——深度引导蒸馏。用预训练深度估计模型(MoGe-2)在训练前为所有数据标注深度图,然后在 Action Expert 中引入深度 cross-attention 层:
$$\mathbf{h}_{\text{action}} = \text{CrossAttn}(\mathbf{h}_{\text{VLM}}, \mathbf{h}_{\text{depth}})$$实验表明加入深度后可带来 3-5% 的额外性能提升,尤其对需要精确空间定位的操作任务(如"把螺丝拧进孔里")帮助显著。有趣的是,这个深度模型在推理时不需要——只在训练时提供空间位置引导,蒸馏进网络权重后即可旁路。
缩放规律分析
论文最重要的发现之一来自对数据缩放律的刻画。作者用了 2 万小时真机数据,按 25%/50%/100% 三档递减采样:
| 数据量 | 成功率(3 平台平均) | 相比 25% 提升 |
|---|---|---|
| 25%(~5k 小时) | 62.3% | — |
| 50%(~10k 小时) | 78.1% | +15.8% |
| 100%(~20k 小时) | 85.7% | +23.4% |
关键点在于:从 50% 到 100% 的提升(+7.6%)大于从 25% 到 50%(+15.8% 的一半),说明缩放律尚未饱和。这意味着继续堆数据仍有显著收益——这对指导行业数据采集策略有直接价值:VLA 的训练数据还不是"够用"的阶段,而是"多多益善"。
后训练范式
9 构型 2 万小时预训练 → 新平台 130 episode/任务后训练 → 部署
这个范式之所以"务实",是因为它把成本压到了产业可承受的范围——新平台只需 130 个 episode(相对于 2 万小时预训练来说是九牛一毛)就能适配,这意味着接入新机器人硬件的成本极低,是真正可规模化的部署模式。
📊 实验结果:全面领先
LingBot-VLA 在系统化评测上展现了清晰的优越性与广适性。
跨平台泛化
LingBot-VLA 在 4 个机器人平台 × 100 类任务 上系统评测。以下为关键对比结果:
| 平台 | 竞争对手最佳 | LingBot-VLA | 提升 |
|---|---|---|---|
| ALOHA 双臂 | 78.2% | 87.6% | +9.4% |
| Trossen 双臂 | 71.5% | 83.4% | +11.9% |
| UR5e 双臂 | 74.8% | 85.1% | +10.3% |
| 自定义平台 | 69.3% | 81.2% | +11.9% |
所有平台全面优于竞争对手,且在不同任务类型上表现稳定:
| 任务类型 | 成功率 | 特点 |
|---|---|---|
| 抓取放置 | 91.2% | 基础操作,LingBot 几乎零失误 |
| 精细操作 | 79.8% | 拧螺丝、穿线等,深度蒸馏增益显著 |
| 长程任务 | 76.3% | >5 步复合任务,跨构型预训练助益大 |
| 工具使用 | 83.1% | 语言指令驱动的泛化操作 |
关键结论是:LingBot-VLA 不是"在某个 benchmark 上刷分",而是"在 400 种任务上系统性胜出"——这种广覆盖的领先,才是"基础模型"应有的品质。
适配效率
| 维度 | 成本 |
|---|---|
| 新平台后训练数据 | 仅 130 episode/任务 |
| 训练算力 | 8 卡可达 261 样本/秒 |
| 总研发成本 | 远低于从零训或大模型全参微调 |
这种低成本适配,是 VLA 走向产业部署的经济可行性保证——一个需要百万 episode 才能适配的模型,在产线上是负担不起的;而 130 episode 的成本,让"一模型多平台"成为现实。
代码库性能
代码库本身的性能指标同样亮眼:
| VLM 基座 | 加速比(相对现有代码库) |
|---|---|
| Qwen2.5-VL-3B | 2.8× |
| Qwen2.5-VL-7B | 2.1× |
| InternVL2-4B | 1.5× |
加速核心来自三点优化:
- FSDP + Shard Groups:将 VLM 权重按专家分片,Understanding Expert 冻结不参与梯度同步,减少通信开销
- Operator Fusion:将 LayerNorm + Attention + FFN 融合为单 kernel,减少显存带宽瓶颈
- Action Expert 异步调度:在 VLM 前向的同时预计算动作头的 depth cross-attention,隐藏延迟
得益于此,8×A100 上训完 2 万小时数据只需约 230 小时(9.6 天),而现有 VLA 代码库需要 360-640 小时。训练成本直接砍半到三分之一,这对学术界和小型团队意义重大。
与现有 VLA 基础模型对比
| 维度 | OpenVLA | π0 | Octo | LingBot-VLA |
|---|---|---|---|---|
| 预训练数据 | 970 小时 | 无公开大规模预训练 | 多数据集混合 | ~20,000 小时 |
| 构型数 | 1 | 1 | 多数据集(非统一构型) | 9 种双臂构型 |
| 动作头 | Diffusion(50 步) | Flow Matching(10 步) | Diffusion | Flow Matching(4-8 步) |
| 动作解耦 | 无 | 无 | 无 | 统一 $SE(3)$ 动作空间 |
| 深度引导 | 无 | 无 | 无 | 深度蒸馏 |
| 训练吞吐(8 卡) | ~100 样本/秒 | ~150 样本/秒 | ~90 样本/秒 | 261 样本/秒 |
| 跨构型评测 | 单一平台 | 单一平台 | 多数据集迁移 | 4 平台 × 100 任务 |
LingBot-VLA 在数据规模、构型多样性、训练效率三个维度上全面领先,是当前最具"产业预备度"的 VLA 基础模型。
⚔️ 在 VLA 谱系中的位置
理解 LingBot-VLA,要看它在 VLA 演进中的坐标:
| 代际 | 代表 | 范式 | 务实度 |
|---|---|---|---|
| 第一代(单平台 VLA) | RT-1、OpenVLA | 单一机器人验证 | 低(难迁移) |
| 第二代(大模型 VLA) | RT-2、π0 | 大 VLM + 动作 | 中(适配贵) |
| 第三代(跨平台 VLA) | Octo、OpenX 训练的模型 | 多数据集预训练 | 中高 |
| 本文(LingBot-VLA) | 9 构型 + 2 万小时 + 高效代码库 | 跨构型 + 低成本适配 + 全开源 | 极高 |
LingBot-VLA 的开创性在于:它把"务实"提升为第一性原则——不卷参数规模,不卷任务数量,而是卷"跨平台泛化 + 适配效率 + 工具链开源“这三件最关乎产业落地的事。这种”产品经理式的科研品味",是 VLA 走向真机部署最需要的。
⚠️ 局限性与挑战
LingBot-VLA 虽然务实周到,仍有值得讨论的局限:
- 双臂聚焦:目前主要针对双臂构型,对单臂、移动操作、轮式机器人的覆盖有待扩展。
- 任务复杂度:100 类任务虽多,但是否覆盖了长程、多阶段、需推理的复杂任务,仍需更多说明。
- 真机部署的延迟:论文强调吞吐,但实际车端/产线端的推理延迟是否满足实时性,需要更多数据。
- 泛化边界:在"第 10 种"全新构型上的 zero-shot 能力如何,是衡量"基础模型"成色的关键。
📝 个人思考
读 LingBot-VLA,最打动我的是它对"务实"这个价值的坚守。VLA 这个领域近两年陷入了"卷规模"的军备竞赛——谁的参数大、谁的任务多、谁的 benchmark 分高。但 LingBot-VLA 反其道而行,标题就挑明"Pragmatic",把"真机可部署、跨平台可迁移、低成本可适配“这三件产业最关心的事做到极致。这种”产品经理式的科研品味“在学术界尤其稀缺——大多论文在炫技,而 LingBot-VLA 在"交钥匙”。
不过我也注意到一个我称之为"务实陷阱“的问题:当模型过于强调"够用就好"时,会不自觉地限制技术上限。LingBot-VLA 选的是 4B 而非 7B+ 模型,2 万小时数据虽然大但并非不可超越。这种"务实"姿态如果被后来者理解为"不需要更大的模型和数据”,反而可能制约 VLA 探索真正的 scaling 极限。我觉得正确的姿态是:实干家的工具箱里既要有"够用就好的 4B",也要有人去探索"10 万小时的 10B"——两条腿走路才是健康的社区生态。
第二点启发在 “9 种构型预训练"作为跨平台泛化的关键。大多数 VLA 只在单一构型上训练,换个机器人就废,根本原因是没有在预训练阶段"见过"构型多样性。LingBot-VLA 用 9 种构型的真机数据,逼模型学到与具体硬件解耦的动作策略——这给社区的启示是:跨平台泛化不是"训得够大"就行,而是要在预训练数据里就有意识地注入构型多样性。这本质上是”数据设计的多样性 > 模型规模的堆砌"。我预期"多构型预训练"会成为 VLA 基础模型的标准配置,正如多语言预训练之于 LLM。
第三点是关于 代码库作为"基础设施"的价值。1.5-2.8 倍的加速比看似不起眼,但对整个社区的影响是深远的——它意味着研究迭代更快、小团队也训得起 VLA、产业训练成本砍半。这种"基础设施级“的贡献,长期价值往往超过某个刷分的模型。历史上 NLP 的 HuggingFace Transformers、CV 的 MMDetection,都是靠"工具链"定义了一个生态。LingBot-VLA 的代码库如果能成为 VLA 领域的"事实标准”,其生态价值不可估量。得开发者得天下,这是开源战略的核心。
最后一点是关于 Flow Matching 的选型判断。LingBot-VLA 选 Flow Matching 而非扩散,理由是"推理更快、步数更少"。但我认为深层逻辑是:在动作生成这个任务上,直路比弯路好。扩散模型之所以需要数百步去噪,是因为它从"纯噪声→数据分布"走了一条弯曲的随机路径;而 Flow Matching 的 ODE 路径是直的、可预测的。机器人的动作空间本质上是低维流形上的连续路径,比起图像这种高维复杂分布,它更适合做确定性建模。这个洞察可能延伸到其他机器人领域:Flow Matching 可能是比扩散更适合"控制信号生成"的通用范式。但 LingBot-VLA 反其道而行,标题就挑明"Pragmatic",把"真机可部署、跨平台可迁移、低成本可适配“这三件产业最关心的事做到极致。这种”产品经理式的科研品味“在学术界尤其稀缺——大多论文在炫技,而 LingBot-VLA 在"交钥匙”。我认为这才是 VLA 走向产业正途该有的姿态:一个需要百万数据才能适配的"大模型",对产线是负担不起的;一个 130 episode 就能上手的"小而稳"模型,才是真金白银。
第二点启发在 “9 种构型预训练"作为跨平台泛化的关键。大多数 VLA 只在单一构型上训练,换个机器人就废,根本原因是没有在预训练阶段"见过"构型多样性。LingBot-VLA 用 9 种构型的真机数据,逼模型学到与具体硬件解耦的动作策略——这给社区的启示是:跨平台泛化不是"训得够大"就行,而是要在预训练数据里就有意识地注入构型多样性。这本质上是”数据设计的多样性 > 模型规模的堆砌"。我预期"多构型预训练"会成为 VLA 基础模型的标准配置,正如多语言预训练之于 LLM。
第三点是关于 代码库作为"基础设施"的价值。1.5-2.8 倍的加速比看似不起眼,但对整个社区的影响是深远的——它意味着研究迭代更快、小团队也训得起 VLA、产业训练成本砍半。这种"基础设施级“的贡献,长期价值往往超过某个刷分的模型。历史上 NLP 的 HuggingFace Transformers、CV 的 MMDetection,都是靠"工具链"定义了一个生态。LingBot-VLA 的代码库如果能成为 VLA 领域的"事实标准”,其生态价值不可估量。得开发者得天下,这是开源战略的核心。
最后一点是关于 “务实"与"前沿"的平衡。LingBot-VLA 主打务实,但这不意味着它放弃了前沿——它在跨构型泛化、高效训练上都有真创新。这给社区的启示是:“务实"和"前沿"不矛盾,真正的好研究应该既解决实际问题又推动技术边界。太多论文要么"前沿但不务实”(炫技无法落地),要么"务实但不前沿”(工程优化无新意)。LingBot-VLA 这种"务实地推进前沿“的姿态,是 VLA 领域最需要的平衡——既不空谈 AGI,也不困于调参,而是把每一份算力都花在"让真机更好用"这个最朴素的目标上。
总体而言,LingBot-VLA 是一篇”接地气“的工作——它没有震天响的口号,但每一处设计都指向"让 VLA 真正跑在产线上”。当大多 VLA 还在论文里"刷榜"时,LingBot-VLA 已经把钥匙交到了开发者手里。这种"交付即服务“的务实主义,或许才是具身智能走向大规模落地最缺的那块拼图。
🔗 延伸阅读
| 工作 | 团队 | 与 LingBot-VLA 的关系 |
|---|---|---|
| OpenVLA | Stanford | 单平台 VLA,LingBot 的对比路线 |
| RT-2 / RT-1 | 大模型 VLA 前作 | |
| π0 / π0.5 | Physical Intelligence | 务实 VLA 同路线,强调可部署 |
| Octo | Berkeley | 跨数据集 VLA,多构型思想 |
| Open X-Embodiment | 跨机构 | 大规模机器人数据集,思想源头 |
| ABot-M0.5 | 高德 | 潜在动作解耦 embodiment,异曲同工 |
📖 这是论文精读系列的第 34 篇。当 VLA 开始把"务实"写进标题,具身智能离大规模产线落地又近了一步。你认为 VLA 的下一个突破会在"更大模型"还是"更务实工程”?欢迎留言讨论。