RT-2精读：VLA奠基之作——将网络知识迁移到机器人控制

🏭 论文概览

🌟 核心贡献：VLA概念的诞生

RT-2是首个正式提出Vision-Language-Action (VLA)模型类别的工作。它的核心洞察极为简洁但影响深远：既然VLM可以生成任意文本Token，为什么不能把机器人动作也编码成文本Token？

这一想法的美妙之处在于——它不需要修改VLM的架构、不需要设计新的输出头、不需要改变训练范式。只需将机器人的6自由度动作离散化为256个bin，映射到词表中的256个Token，然后像训练VQA一样训练模型：“Q: what action should the robot take to [指令]? A: [动作Token串]"。

⚙️ 方法细节

动作编码

RT-2沿用RT-1的动作离散化方案。动作空间包括：

• 6自由度末端执行器位移（平移3维 + 旋转3维）
• 夹爪开合程度
• 终止指令（表示任务完成）

连续维度统一离散化为256个bin，每个动作表示为8个整数。对于PaLI-X，整数直接对应Token ID；对于PaLM-E，覆盖256个最少使用的Token来表示动作词表。

具体的编码过程如下：每个连续维度（如末端执行器的x位移）的范围归一化到[-1, 1]，然后均匀划分为256个区间。对于维度值v，其离散化ID为floor((v + 1) / 2 * 255)，clip到[0, 255]。以6自由度动作（3维平移 + 3维旋转）为例，加上夹爪开合（1维）和终止指令（1维），共8个维度，每个维度对应一个[0, 255]的Token ID。因此每个时间步的动作被表示为8个Token的序列，如”[103, 87, 202, 45, 156, 218, 200, 1]"，其中最后一个Token的值为1表示"任务未完成"，0则表示"任务完成终止"。训练时，模型接收当前观测和语言指令，以自回归方式依次预测这8个动作Token。

模型变体

RT-2基于两个预训练VLM构建：

这是迄今为止（截至2023年）用于直接闭环机器人控制的最大模型，比之前的方法大一个数量级以上。

PaLI-X与PaLM-E骨干网络架构解析

RT-2的两个骨干网络代表了VLM的两条技术路线：

PaLI-X（Pathways Language and Image eXpanded）采用编码器-解码器架构。视觉端使用ViT-e（22B参数）将图像编码为视觉Token序列，语言端基于UL2编码器-解码器架构（32B参数），中间通过交叉注意力层实现视觉-语言信息融合。PaLI-X天然支持多语言多模态理解，适合处理复杂的语义推理任务。

PaLM-E（Embodied Multimodal Language Model）则采用仅有解码器的架构，将视觉Token直接插入语言模型的输入序列中。这意味着机器人观测（图像、状态估计）被当作"新语言"的Token序列来学习。PaLM-E的一个显著特点是它可以接受任意数量的连续视觉Token——除了图像，还可以包括神经辐射场（NeRF）表征的场景向量、点云特征等，具有极强的多模态扩展性。

具体到RT-2的适配过程，两个模型存在一个关键差异：PaLI-X的Token ID空间中包含完整的文本词汇，动作Token天然映射到空闲ID上；而PaLM-E的词表紧凑，没有预留空闲ID，因此需要覆盖256个"最少使用"的Token（如罕见字符）来编码动作。这隐含了一个设计选择上的代价：覆盖词表意味着PaLM-E在推理机器人任务时将无法生成那些被覆盖的原生Token，不过在实际部署中这并不是问题——机器人任务的动作空间是封闭的。

联合微调 (Co-Fine-Tuning)

关键技巧是将机器人数据与原始网络数据联合微调，而非仅在机器人数据上微调。这样做让策略在微调期间同时暴露于抽象视觉概念和底层机器人动作，从而提升泛化能力。训练时通过提高机器人数据集的采样权重来平衡batch中两类数据的比例。

输出约束

推理时，当模型被prompt为机器人动作任务时，解码过程只采样合法的动作Token，确保输出一定是可执行的机器人指令。而在标准VLM任务上，模型仍然可以输出完整自然语言Token。

Chain-of-Thought推理

通过对RT-2进行少量额外微调（几百步），使其能够在输出动作之前先生成自然语言的"Plan"步骤，描述即将执行的动作目的。这使得同一模型可以同时进行长时域任务规划（用语言）和底层技能执行（用动作Token），展现出类似LLM的思维链能力。

CoT的推理范式设计得非常精巧。以机械臂7自由度（6自由度末端位移 + 1自由度夹爪）动作为例，RT-2的CoT微调将推理过程分解为三个层次：

第1层——高层语义规划（自然语言）：模型首先生成一段自然语言描述，例如"I need to pick up the rock because it can be used as a hammer"。这一步完全由VLM的文本解码器完成，不涉及任何动作空间的知识。

第2层——动作目标描述（结构化语言）：模型输出格式化的中间语言，如"Move to position (0.3, 0.5, 0.2), orient gripper downward, close gripper"。这一步本质上是对动作时序的文本抽象，但比底层Token更易理解。

第3层——底层动作Token（可执行指令）：模型最终解码8个动作Token（末端位移3维 + 旋转3维 + 夹爪1维 + 终止1维），每个Token对应256个bin中的一个ID。这些Token直接发送给机器人控制器执行。

值得注意的是，CoT微调仅在原始VLM的文本空间内操作——不需要额外结构、不需要更改损失函数。只需在训练数据中将"Question: [指令], Answer: [动作Token]“的格式改为"Question: [指令], Answer: [Plan文本]. [动作Token]“即可。微调后模型自然学会了在输出动作之前先"思考"一段计划，因为训练数据中展示了这种模式。

作者在实验中观察到，CoT对需要推理的复杂指令（如"找一个临时锤子”）提升显著，但对简单指令（如"拿起香蕉”）的提升不明显。这也符合直觉——简单任务不需要复杂的计划分解。

RT-2与RT-1架构对比

RT-2与RT-1虽然共享部分思想（Tokenized Action、联合训练），但在架构和泛化能力上存在本质差异:

核心差异在于：RT-1的动作输出层是独立训练的分类头，而RT-2直接复用VLM的文本解码器。这意味着RT-2天然继承了VLM在互联网上学到的语义知识，而RT-1的语义理解仅限于机器人数据中出现的指令。这也解释了为什么RT-2在Unseen任务上实现了接近翻倍的提升——它理解"数字7"、“最小的物体”、“临时锤子"等概念，因为这些概念来自互联网图文训练，而不是机器人演示。

WebPath数据集与训练配方

RT-2除了使用原始的RT-1数据集（约130k条机器人演示，涵盖7类任务、超过700种物体），还引入了一个名为WebPath的新数据集，用于桥接网络知识和机器人动作。

WebPath数据集的构建流程如下：

1. 图像采集：从互联网图文对数据中采样图像
2. 语言指令标注：使用自动化模板生成语言指令，如"pick up the [object]"、“move [object] to [location]”
3. 伪动作生成：对"静止"图像，无法获取真实机器人动作。RT-2的做法是使用一个预训练的逆动力学模型（基于RT-1训练数据训练，输入: 前后两帧图像，输出: 动作）来生成伪动作标签
4. 质量过滤：去除逆动力学模型置信度低的样本

最终WebPath数据集包含约数十万条（图像, 指令, 伪动作）三元组。这些数据与原始机器人数据混合后进行联合微调。关键的经验发现是，即使伪动作标签的质量不如真实人演示数据，但只要在联合训练中适当降低WebPath的采样权重（如机器人:WebPath = 1:10），仍然可以显著提升泛化能力——因为WebPath带来的收益在于视觉多样性和概念覆盖，而非动作精度。

📊 实验结果

主要评估（6000次机器人试验）

在未见过的任务上，RT-2-PaLI-X-55B相比RT-1的32%提升至62%，几乎翻倍。这一巨大提升归功于互联网规模预训练带来的泛化能力。

涌现能力

对新颖对象的泛化：RT-2可以操作训练数据中从未见过的物体。例如，虽然训练数据中只有标准的水果和饮料，RT-2能正确抓取和放置一个动画形象的玩偶。

解释未见过的指令：模型能理解"把物体放在数字7上"这样的指令——数字"7"这个概念来自网络预训练，而非机器人数据。

基础推理：能执行"拿起最小的物体”、“拿起离另一个物体最近的物体"等需要比较和推理的命令。

多阶段语义推理 (CoT)：当被要求"找一个临时锤子"时，RT-2先推理出"石头可以用来当锤子”，然后执行拿取石头的动作。被问"给一个疲劳的人什么饮料"时，推理出"能量饮料"并执行。

消融实验

联合微调和模型规模对泛化能力均有显著贡献。

Roboturk真实机器人实验结果

RT-2在Roboturk平台（Google的移动操控机器人平台）上进行了大规模真实世界验证。实验涵盖三个场景：

跨场景泛化测试：当机器人在Scenario 1中训练（桌面到篮子），直接部署到Scenario 2的"从架子上取物体"任务时，成功率仅下降约10%，说明模型具备一定的零样本迁移能力。值得注意的是，在Scenario 3中，即使物体是训练数据中从未出现过的（如卡通玩偶、抽象形状），RT-2-PaLI-X-55B仍能以67%的成功率完成语义选择任务，而RT-1在该场景几乎完全失败（<5%），进一步验证了大规模VLM预训练带来的零样本泛化能力。

💭 个人思考

时隔近三年回看RT-2，它的贡献远比初看时更加深远。

首先，“动作即语言"的设计哲学被证明具有惊人的生命力。直到今天（2026年），几乎所有VLA模型都在延续这一范式——无论是RT-2的后继者RT-X、OpenVLA，还是本文精读的CoWorld-VLA，都没有从根本上脱离"将动作编码为序列Token"的框架。

其次，RT-2的研究路线图非常有启发性：它不像很多工作那样追求在特定任务上的SOTA，而是系统性地证明互联网预训练知识可以迁移到机器人控制。这个"可行性证明"的意义远超某个benchmark上的数字——它为整个VLA领域奠定了合法性。

不过也有一些值得反思的地方。55B模型1-3Hz的控制频率在静态操作场景中尚可接受，但在自动驾驶这种需要10Hz以上控制率的场景中就捉襟见肘了。RT-2对PaLI-X和PaLM-E的强依赖也意味着它无法轻易受益于后续更强的VLM。

关于离散化精度损失的再思考：RT-2将连续动作离散化为256个bin，意味着理论上的最大控制精度约为动作范围的1/256。对于需要高精度操作的任务（如精密装配、手术操作），这种量化误差可能成为瓶颈。后续工作的两个方向值得关注：一是像π0那样使用Flow Matching连续生成动作，二是像Octo那样使用扩散动作头在连续空间中建模。RT-2的离散范式虽然在语义泛化上突出了优势，但也在动作精度上做出了明确的牺牲——这是"离散化"作为通用接口的必要代价。

CoT推理的规模化扩展问题：RT-2的CoT微调只在几百步的规模上验证，且仅在单一任务场景中展示。一个重要的问题是：CoT能否像在LLM中那样随着模型规模和训练数据的增加而涌现出更强、更通用的推理能力？如果将RT-2扩展到更大的VLM骨干（如Gemini级别），并配合更大规模的CoT标注数据，机器人CoT推理的复杂度和可靠性是否会迎来质的飞跃？这个问题至今没有完全解答，可能是RT-2留下的最有价值的研究方向之一。

长期影响评估：从2026年回看，RT-2最有价值的遗产可能不是具体的技术方案（Tokenized Action），而是它所确立的研究范式——将机器人问题转化为语言问题，用语言模型的进步来驱动机器人能力的进步。这个范式已经被证明非常成功：随着VLM从55B发展到万亿参数级别，VLA模型的能力也在同步增长。某种意义上，RT-2定义了一条"搭便车"式的发展路线——机器人的进步不再需要专门设计算法，而是分享NLP领域的规模红利。这一点的影响，可能比任何一个具体的benchmark数字都更加深远。

另外，RT-2虽然展示了涌现推理能力，但这些能力更多是继承自VLM骨干网络，而非VLA训练本身带来的。如何真正激发而非仅仅传递VLM中的推理能力到动作空间，仍然是该领域的一个开放问题。

总的来说，RT-2是一篇"范式定义"级别的论文。它用一个极简的idea打开了"语言模型控制机器人"的大门，后续所有VLA工作都在它的延长线上。如果你只读一篇VLA论文，RT-2就是那个起点。