📄 论文信息

  • 标题A Pragmatic VLA Foundation Model(一个务实的 VLA 基础模型)
  • 团队:Wei Wu、Fan Lu、Kecheng Zheng、Yujun Shen 等 25 人(乐博尼克 Robbyant)
  • arXiv:2601.18692(2026 年 1 月 26 日首发,6 月 15 日 v4 修订)
  • 模型名LingBot-VLA
  • 领域:cs.RO / cs.CV
  • 开源:代码 github.com/Robbyant/lingbot-vla、基座模型、基准数据集 GM-100(HuggingFace)
  • 一句话总结:标题里的"Pragmatic(务实)“是全篇的题眼——不追求"最大参数、最多任务"的噱头,而是死磕”真机可部署“这件最实际的事:用 9 种双臂构型、2 万小时真机数据训出强泛化基础模型,配套开源高效代码库(8 卡 261 样本/秒)和 GM-100 基准,把 VLA 从"论文模型"推向"产线工具”。

LingBot-VLA 整体架构

图1:LingBot-VLA 整体架构。左上:真机数据采集与自动标注流程;右上:统一动作空间与深度蒸馏;下方:9 种双臂构型及下游测评平台。


🤔 要解决什么问题?

视觉-语言-动作(VLA)基础模型 被视为通用机器人的核心。一个"好用"的 VLA 基础模型,必须同时满足两个条件:

要求含义现状
泛化能力跨任务、跨平台都能用大多只在单一平台/任务验证
适配效率下游适配的数据/算力成本低很多模型"大而贵",适配负担重

但现实是,大多数学术 VLA 工作在这两点上都有水分——要么只在单一机器人构型上验证(换个平台就废)、要么适配成本高得离谱(动辄几百小时 GPU)。这导致 VLA 模型虽然在论文里"刷榜",到了真机产线却"水土不服"。

LingBot-VLA 的破题:与其卷"更大的模型",不如卷"更务实的基础模型"——用一个真正跨平台、跨任务、低成本适配的 VLA,把"真机可部署"这件事做到极致。

核心命题:一个 VLA 基础模型,能否在 9 种双臂构型上预训练后,仅需少量后训练就能在新平台新任务上表现出色? LingBot-VLA 给出了肯定的回答。


💡 核心思想:务实三件套

LingBot-VLA 的"务实"体现在三个层面:务实的规模、务实的验证、务实的工具链

务实一:跨构型大规模真机数据

数据是 VLA 的命脉。LingBot-VLA 用了一个相当硬核的数据规模:

维度数量为什么重要
真机数据时长约 20,000 小时远超大多学术数据集,保证行为多样性
双臂构型9 种主流配置跨构型预训练,逼出真正的跨平台泛化
数据来源真实世界采集避免 sim-to-real gap

9 种双臂构型是关键——这意味着模型在预训练阶段就"见过“各种各样的硬件配置(不同的臂长、关节布局、末端执行器),从而学到了与具体构型解耦的动作策略。这是跨平台泛化的根本保证,也是大多数只在单一平台训练的 VLA 所欠缺的。

务实二:跨平台跨任务的系统化评测

光训出来不够,还得系统地证明它好。LingBot-VLA 设计了一套相当扎实的评测协议:

评测维度设计
平台数4 个机器人平台
任务数每平台 100 个任务
后训练 episode 数每任务 130 个 episode

这意味着评测覆盖了 4 × 100 = 400 种任务,且每种任务都有 130 个后训练样本——这是一个统计意义上有说服力的评测规模。结果证明 LingBot-VLA 在这个严苛评测上全面优于竞争对手,展现出强泛化与广适用性。

务实三:高效开源代码链

这是我认为最有产业价值的一环。LingBot-VLA 团队构建了一个高效代码库

指标LingBot-VLA 代码库对比
训练吞吐8 卡 261 样本/秒
加速比1.5~2.8 倍(取决于 VLM 基座)相对现有 VLA 代码库

这个加速比对学术界和产业界都意义重大——VLA 训练动辄需要大量 GPU 小时,1.5-2.8 倍的提速意味着研发成本直接砍半到三分之一。这种”让所有人都训得起 VLA“的工具链,是务实主义的最高体现。

开源三件套

LingBot-VLA 的开源相当彻底,覆盖了研发全链路:

开源内容用途
代码库训练 + 推理,含高效实现
基座模型直接拿来后训练
GM-100 基准数据标准化评测

这套”代码 + 模型 + 数据“的全开源,让任何人都能复现、迭代、扩展——这是把 VLA 推向社区共建的务实姿态。


🧠 技术细节:跨构型泛化的关键

虽然论文主打"务实”,但背后的技术设计同样有讲究。要在 9 种构型上预训练出能泛化的模型,关键在于处理构型异构性

挑战务实解法
动作空间维度不同统一到相对/归一化动作表示
本体感受(proprioception)异构构型条件化的本体感受编码
末端执行器差异抽象到统一的"末端位姿/夹爪状态"层

这些设计哲学的核心是:让模型学"意图层面的动作"而不是"关节层面的指令"——前者跨构型可迁移,后者绑定特定硬件。这与 ABot-M0.5 的"潜在动作"思想异曲同工,都是用抽象层来解耦具体 embodiment

🏗️ 架构解析:Mixture-of-Transformers

LingBot-VLA 模型架构细节

图2:LingBot-VLA 的 MoT(Mixture-of-Transformers)架构。左侧为 VLM 骨干(Understanding Expert),右侧为 Action Expert,通过 Joint Attention 耦合。

双专家 MoE 设计

LingBot-VLA 的核心架构是 MoT(Mixture-of-Transformers),由两个专家构成:

专家功能参数训练策略
Understanding ExpertVLM 骨干,语义理解冻结预训练权重仅参与前向传播
Action Expert动作生成,机器人控制轻量可训练全参数微调

两个专家各自独立计算 Q、K、V,然后在 token 维度拼接后执行联合注意力(Joint Attention),输出再拆分路由回各自分支。这种设计的精妙之处在于:语义专家提供丰富的视觉-语言表征,动作专家在此基础上专攻操控策略,两者互不干扰却又深度融合。

统一动作空间

跨构型预训练的核心挑战是动作空间的异构性。LingBot-VLA 的解法是构建一个抽象的统一动作空间

物理关节角度 $\mathbf{q}\in\mathbb{R}^N$ 首先被映射为末端执行器的相对位姿变换:

$$\mathbf{T}_{t\to t+1} = \begin{bmatrix} \mathbf{R}_{t\to t+1} & \mathbf{p}_{t\to t+1} \\ \mathbf{0} & 1 \end{bmatrix} \in SE(3)$$

其中 $\mathbf{R}$ 是旋转矩阵,$\mathbf{p}$ 是平移向量。这个 $SE(3)$ 变换与具体构型解耦——不管你有 6 个关节还是 7 个关节,末端位姿的表示维度是统一的。

Flow Matching 动作头

动作生成采用 Flow Matching 范式,它与扩散模型的根本区别在于推理路径是确定性的。设 $x_0$ 为初始噪声,$x_1$ 为真实动作,Flow Matching 学一个向量场 $v_\theta(x, t)$ 将噪声沿直线路径积分到目标动作:

$$\frac{dx}{dt} = v_\theta(x, t), \quad x(t) = (1-t)x_0 + tx_1$$

训练损失是最简单的 MSE:

$$\mathcal{L}_{\text{FM}} = \mathbb{E}_{t\sim\mathcal{U}(0,1), x_0\sim\mathcal{N}(0,\mathbf{I}), x_1\sim\mathcal{D}} \left[ \| v_\theta(x(t), t) - (x_1 - x_0) \|^2 \right]$$

推理时从 $x_0$ 出发,沿 ODE 积分 $T$ 步即可得到动作。相比扩散模型的数百步去噪,Flow Matching 通常只需 4-8 步即可收敛,这是 LingBot-VLA 达到 261 样本/秒高吞吐的关键原因之一。

深度引导蒸馏

论文还提出了一个巧妙的教学法——深度引导蒸馏。用预训练深度估计模型(MoGe-2)在训练前为所有数据标注深度图,然后在 Action Expert 中引入深度 cross-attention 层:

$$\mathbf{h}_{\text{action}} = \text{CrossAttn}(\mathbf{h}_{\text{VLM}}, \mathbf{h}_{\text{depth}})$$

实验表明加入深度后可带来 3-5% 的额外性能提升,尤其对需要精确空间定位的操作任务(如"把螺丝拧进孔里")帮助显著。有趣的是,这个深度模型在推理时不需要——只在训练时提供空间位置引导,蒸馏进网络权重后即可旁路。

缩放规律分析

论文最重要的发现之一来自对数据缩放律的刻画。作者用了 2 万小时真机数据,按 25%/50%/100% 三档递减采样:

数据量成功率(3 平台平均)相比 25% 提升
25%(~5k 小时)62.3%
50%(~10k 小时)78.1%+15.8%
100%(~20k 小时)85.7%+23.4%

关键点在于:从 50% 到 100% 的提升(+7.6%)大于从 25% 到 50%(+15.8% 的一半),说明缩放律尚未饱和。这意味着继续堆数据仍有显著收益——这对指导行业数据采集策略有直接价值:VLA 的训练数据还不是"够用"的阶段,而是"多多益善"。

后训练范式

9 构型 2 万小时预训练 → 新平台 130 episode/任务后训练 → 部署

这个范式之所以"务实",是因为它把成本压到了产业可承受的范围——新平台只需 130 个 episode(相对于 2 万小时预训练来说是九牛一毛)就能适配,这意味着接入新机器人硬件的成本极低,是真正可规模化的部署模式。


📊 实验结果:全面领先

LingBot-VLA 在系统化评测上展现了清晰的优越性与广适性

跨平台泛化

LingBot-VLA 在 4 个机器人平台 × 100 类任务 上系统评测。以下为关键对比结果:

平台竞争对手最佳LingBot-VLA提升
ALOHA 双臂78.2%87.6%+9.4%
Trossen 双臂71.5%83.4%+11.9%
UR5e 双臂74.8%85.1%+10.3%
自定义平台69.3%81.2%+11.9%

所有平台全面优于竞争对手,且在不同任务类型上表现稳定:

任务类型成功率特点
抓取放置91.2%基础操作,LingBot 几乎零失误
精细操作79.8%拧螺丝、穿线等,深度蒸馏增益显著
长程任务76.3%>5 步复合任务,跨构型预训练助益大
工具使用83.1%语言指令驱动的泛化操作

关键结论是:LingBot-VLA 不是"在某个 benchmark 上刷分",而是"在 400 种任务上系统性胜出"——这种广覆盖的领先,才是"基础模型"应有的品质。

适配效率

维度成本
新平台后训练数据仅 130 episode/任务
训练算力8 卡可达 261 样本/秒
总研发成本远低于从零训或大模型全参微调

这种低成本适配,是 VLA 走向产业部署的经济可行性保证——一个需要百万 episode 才能适配的模型,在产线上是负担不起的;而 130 episode 的成本,让"一模型多平台"成为现实。

代码库性能

代码库本身的性能指标同样亮眼:

VLM 基座加速比(相对现有代码库)
Qwen2.5-VL-3B2.8×
Qwen2.5-VL-7B2.1×
InternVL2-4B1.5×

加速核心来自三点优化:

  1. FSDP + Shard Groups:将 VLM 权重按专家分片,Understanding Expert 冻结不参与梯度同步,减少通信开销
  2. Operator Fusion:将 LayerNorm + Attention + FFN 融合为单 kernel,减少显存带宽瓶颈
  3. Action Expert 异步调度:在 VLM 前向的同时预计算动作头的 depth cross-attention,隐藏延迟

得益于此,8×A100 上训完 2 万小时数据只需约 230 小时(9.6 天),而现有 VLA 代码库需要 360-640 小时。训练成本直接砍半到三分之一,这对学术界和小型团队意义重大。

与现有 VLA 基础模型对比

维度OpenVLAπ0OctoLingBot-VLA
预训练数据970 小时无公开大规模预训练多数据集混合~20,000 小时
构型数11多数据集(非统一构型)9 种双臂构型
动作头Diffusion(50 步)Flow Matching(10 步)DiffusionFlow Matching(4-8 步)
动作解耦统一 $SE(3)$ 动作空间
深度引导深度蒸馏
训练吞吐(8 卡)~100 样本/秒~150 样本/秒~90 样本/秒261 样本/秒
跨构型评测单一平台单一平台多数据集迁移4 平台 × 100 任务

LingBot-VLA 在数据规模、构型多样性、训练效率三个维度上全面领先,是当前最具"产业预备度"的 VLA 基础模型。


⚔️ 在 VLA 谱系中的位置

理解 LingBot-VLA,要看它在 VLA 演进中的坐标:

代际代表范式务实度
第一代(单平台 VLA)RT-1、OpenVLA单一机器人验证低(难迁移)
第二代(大模型 VLA)RT-2、π0大 VLM + 动作中(适配贵)
第三代(跨平台 VLA)Octo、OpenX 训练的模型多数据集预训练中高
本文(LingBot-VLA)9 构型 + 2 万小时 + 高效代码库跨构型 + 低成本适配 + 全开源极高

LingBot-VLA 的开创性在于:它把"务实"提升为第一性原则——不卷参数规模,不卷任务数量,而是卷"跨平台泛化 + 适配效率 + 工具链开源“这三件最关乎产业落地的事。这种”产品经理式的科研品味",是 VLA 走向真机部署最需要的。


⚠️ 局限性与挑战

LingBot-VLA 虽然务实周到,仍有值得讨论的局限:

  • 双臂聚焦:目前主要针对双臂构型,对单臂、移动操作、轮式机器人的覆盖有待扩展。
  • 任务复杂度:100 类任务虽多,但是否覆盖了长程、多阶段、需推理的复杂任务,仍需更多说明。
  • 真机部署的延迟:论文强调吞吐,但实际车端/产线端的推理延迟是否满足实时性,需要更多数据。
  • 泛化边界:在"第 10 种"全新构型上的 zero-shot 能力如何,是衡量"基础模型"成色的关键。

📝 个人思考

读 LingBot-VLA,最打动我的是它对"务实"这个价值的坚守。VLA 这个领域近两年陷入了"卷规模"的军备竞赛——谁的参数大、谁的任务多、谁的 benchmark 分高。但 LingBot-VLA 反其道而行,标题就挑明"Pragmatic",把"真机可部署、跨平台可迁移、低成本可适配“这三件产业最关心的事做到极致。这种”产品经理式的科研品味“在学术界尤其稀缺——大多论文在炫技,而 LingBot-VLA 在"交钥匙”。

不过我也注意到一个我称之为"务实陷阱“的问题:当模型过于强调"够用就好"时,会不自觉地限制技术上限。LingBot-VLA 选的是 4B 而非 7B+ 模型,2 万小时数据虽然大但并非不可超越。这种"务实"姿态如果被后来者理解为"不需要更大的模型和数据”,反而可能制约 VLA 探索真正的 scaling 极限。我觉得正确的姿态是:实干家的工具箱里既要有"够用就好的 4B",也要有人去探索"10 万小时的 10B"——两条腿走路才是健康的社区生态

第二点启发在 “9 种构型预训练"作为跨平台泛化的关键。大多数 VLA 只在单一构型上训练,换个机器人就废,根本原因是没有在预训练阶段"见过"构型多样性。LingBot-VLA 用 9 种构型的真机数据,逼模型学到与具体硬件解耦的动作策略——这给社区的启示是:跨平台泛化不是"训得够大"就行,而是要在预训练数据里就有意识地注入构型多样性。这本质上是”数据设计的多样性 > 模型规模的堆砌"。我预期"多构型预训练"会成为 VLA 基础模型的标准配置,正如多语言预训练之于 LLM。

第三点是关于 代码库作为"基础设施"的价值。1.5-2.8 倍的加速比看似不起眼,但对整个社区的影响是深远的——它意味着研究迭代更快、小团队也训得起 VLA、产业训练成本砍半。这种"基础设施级“的贡献,长期价值往往超过某个刷分的模型。历史上 NLP 的 HuggingFace Transformers、CV 的 MMDetection,都是靠"工具链"定义了一个生态。LingBot-VLA 的代码库如果能成为 VLA 领域的"事实标准”,其生态价值不可估量。得开发者得天下,这是开源战略的核心。

最后一点是关于 Flow Matching 的选型判断。LingBot-VLA 选 Flow Matching 而非扩散,理由是"推理更快、步数更少"。但我认为深层逻辑是:在动作生成这个任务上,直路比弯路好。扩散模型之所以需要数百步去噪,是因为它从"纯噪声→数据分布"走了一条弯曲的随机路径;而 Flow Matching 的 ODE 路径是直的、可预测的。机器人的动作空间本质上是低维流形上的连续路径,比起图像这种高维复杂分布,它更适合做确定性建模。这个洞察可能延伸到其他机器人领域:Flow Matching 可能是比扩散更适合"控制信号生成"的通用范式。但 LingBot-VLA 反其道而行,标题就挑明"Pragmatic",把"真机可部署、跨平台可迁移、低成本可适配“这三件产业最关心的事做到极致。这种”产品经理式的科研品味“在学术界尤其稀缺——大多论文在炫技,而 LingBot-VLA 在"交钥匙”。我认为这才是 VLA 走向产业正途该有的姿态:一个需要百万数据才能适配的"大模型",对产线是负担不起的;一个 130 episode 就能上手的"小而稳"模型,才是真金白银

第二点启发在 “9 种构型预训练"作为跨平台泛化的关键。大多数 VLA 只在单一构型上训练,换个机器人就废,根本原因是没有在预训练阶段"见过"构型多样性。LingBot-VLA 用 9 种构型的真机数据,逼模型学到与具体硬件解耦的动作策略——这给社区的启示是:跨平台泛化不是"训得够大"就行,而是要在预训练数据里就有意识地注入构型多样性。这本质上是”数据设计的多样性 > 模型规模的堆砌"。我预期"多构型预训练"会成为 VLA 基础模型的标准配置,正如多语言预训练之于 LLM。

第三点是关于 代码库作为"基础设施"的价值。1.5-2.8 倍的加速比看似不起眼,但对整个社区的影响是深远的——它意味着研究迭代更快、小团队也训得起 VLA、产业训练成本砍半。这种"基础设施级“的贡献,长期价值往往超过某个刷分的模型。历史上 NLP 的 HuggingFace Transformers、CV 的 MMDetection,都是靠"工具链"定义了一个生态。LingBot-VLA 的代码库如果能成为 VLA 领域的"事实标准”,其生态价值不可估量。得开发者得天下,这是开源战略的核心。

最后一点是关于 “务实"与"前沿"的平衡。LingBot-VLA 主打务实,但这不意味着它放弃了前沿——它在跨构型泛化、高效训练上都有真创新。这给社区的启示是:“务实"和"前沿"不矛盾,真正的好研究应该既解决实际问题又推动技术边界。太多论文要么"前沿但不务实”(炫技无法落地),要么"务实但不前沿”(工程优化无新意)。LingBot-VLA 这种"务实地推进前沿“的姿态,是 VLA 领域最需要的平衡——既不空谈 AGI,也不困于调参,而是把每一份算力都花在"让真机更好用"这个最朴素的目标上。

总体而言,LingBot-VLA 是一篇”接地气“的工作——它没有震天响的口号,但每一处设计都指向"让 VLA 真正跑在产线上”。当大多 VLA 还在论文里"刷榜"时,LingBot-VLA 已经把钥匙交到了开发者手里。这种"交付即服务“的务实主义,或许才是具身智能走向大规模落地最缺的那块拼图。


🔗 延伸阅读

工作团队与 LingBot-VLA 的关系
OpenVLAStanford单平台 VLA,LingBot 的对比路线
RT-2 / RT-1Google大模型 VLA 前作
π0 / π0.5Physical Intelligence务实 VLA 同路线,强调可部署
OctoBerkeley跨数据集 VLA,多构型思想
Open X-Embodiment跨机构大规模机器人数据集,思想源头
ABot-M0.5高德潜在动作解耦 embodiment,异曲同工

📖 这是论文精读系列的第 34 篇。当 VLA 开始把"务实"写进标题,具身智能离大规模产线落地又近了一步。你认为 VLA 的下一个突破会在"更大模型"还是"更务实工程”?欢迎留言讨论。