📄 论文信息
- 标题：Vesta: A Generalist Embodied Reasoning Model（统一的具身推理通用模型）
- 团队：NVIDIA（Johan Bjorck、Zhiqi Li、Yunze Man、Linxi “Jim” Fan、Jan Kautz 等 32 人）
- arXiv：2606.20905（2026 年 6 月 18 日）
- 领域：cs.RO / cs.AI
- 名字由来：Vesta，罗马神话中的家灶女神——守护"家"与"空间"的神，寓意守护机器人在开放世界中的空间智能
- 一句话总结：用单一基础模型把定位、空间推理、导航、长程规划这四样原本由不同专家干的活全包了，配上一个简洁的多模态记忆挽具（memory harness），结果一个通用模型干翻了一整排专家——这是具身智能"通用主义"路线的强力背书。
🏗️ 架构总览
Vesta 的核心架构设计围绕统一推理 + 多模态记忆挽具展开，将四个能力维度集成进单一基础模型：
| 能力维度 | 输入 | 输出 | 对应模块 |
|---|---|---|---|
| 定位 | 图像 + 文本查询 | 边界框/关键点坐标 | 空间接地头 |
| 空间推理 | 图像 + 空间问题 | 文本答案 + 空间关系 | 推理层 |
| 导航 | 指令 + 第一人称图像 | 导航动作 (像素目标/转向/STOP) | 动作预测头 |
| 长程规划 | 目标 + 历史记忆 | 子任务序列 | 记忆条件规划 |
所有能力共享同一个 Qwen3-VL-8B 主干参数，只有输出头的 token 序列不同。这种"统一主干 + 异构输出“的设计是 Vesta 最核心的架构决策——它既保留了通用视觉-语言预训练的知识，又通过多样化的 SFT 数据诱导出各项专门能力。
统一推理范式的形式化
Vesta 将所有任务统一为条件语言生成问题。给定多模态输入 $x$（图像、文本指令、历史帧）和任务前缀 $p$（决定输出格式），模型输出目标序列 $y$：
$$y^* = \arg\max_{y} P_{\theta}(y | x, p)$$不同的能力对应不同的任务前缀和输出格式化：
$$P_{\theta}(\text{box}|\text{image},\text{query}) \quad\text{(定位)}$$$$P_{\theta}(\text{answer}|\text{image},\text{question}) \quad\text{(空间推理)}$$$$P_{\theta}(\text{action}|\text{image},I,H_t) \quad\text{(导航)}$$$$P_{\theta}(\text{subtask}|\text{image},\text{goal},\text{mem}) \quad\text{(规划)}$$这种统一的数学形式使得能力间的知识共享成为可能——导航中学到的空间理解可以直接帮助定位，定位中学到的几何关系反过来提升空间推理。
多模态记忆挽具
长程任务的最大瓶颈是记忆。Vesta 的记忆挽具（memory harness）设计极为简洁：它将历史关键帧 ($o_{k_0}, …, o_{k_{N-1}}$) 和已完成的子任务文本缓存组成一个记忆上下文窗口，与当前观察一起拼入输入序列：
$$\text{Input}_t = [I; H_t; o_t]$$其中 $H_t = (o_{k_0}, …, o_{k_{N-1}})$ 是采样历史帧，$I$ 是导航指令。这种"拼一起"的方法看似简单，但效果出奇好——因为它允许 Transformer 的自注意力机制在记忆和当前观察之间自由建立长程依赖。真机任务 +35% 的提升大部分来自这个设计。
🤔 要解决什么问题？
在开放世界（home、office、城市）里跑的机器人，需要无缝集成四样核心能力：
| 能力 | 说明 |
|---|---|
| 定位（Localization） | 我在哪？ |
| 空间推理（Spatial Reasoning） | 周围东西的几何/拓扑关系是什么？ |
| 导航（Navigation） | 怎么从这到那？ |
| 长程规划（Long-horizon Planning） | 一个跨几十步的多阶段任务怎么拆解执行？ |
现有的做法是专家主义（specialist）——每个能力训一个专门模型，再像"乐高"一样拼成一个 pipeline。但这条路有两大死穴：
- 计算昂贵：一堆大模型同时跑，对边缘设备（机器人车端）是噩梦；
- 级联错误：上游专家错了，下游全错，错误沿着 pipeline 雪球式放大。
核心命题：能不能用一个统一的基础模型把所有能力包圆，既省算力、又避免级联错误，还能靠”能力间的相互增益“做得比专家更好？Vesta 给出了肯定的回答——通用主义（generalist）是可行、可扩展、甚至更优的选择。
💡 核心思想：统一 + 记忆
Vesta 的成功建立在两个关键设计上：精心策展的多样化训练语料 和 简洁的多模态记忆挽具。
支柱一：空间接地语料
要让单一模型同时掌握定位、空间推理、导航、规划，训练数据必须足够多样、且能诱发空间接地（spatial grounding）。Vesta 团队构建了一个庞大的策展语料库，专门设计来诱导模型建立：
| 接地维度 | 语料设计 | 培养的能力 |
|---|---|---|
| 几何接地 | 带度量深度/位姿标注的数据 | 定位、空间关系推理 |
| 拓扑接地 | 带场景图、物体关系的数据 | 长程规划、物体检索 |
| 时序接地 | 带历史轨迹/ episodic 记忆的数据 | 跨时段记忆与回溯 |
| 任务接地 | 带高层目标与子任务分解的数据 | 长程任务规划 |
关键洞察是：通用模型不是"什么都学一点但不精”，而是要靠数据诱导出能力的相互增益——空间推理的几何知识反过来帮助定位，定位的准确性反过来帮助导航。这种"能力共生“是专家拼装永远得不到的。
支柱二：多模态记忆挽具
长程任务的最大挑战是时间跨度——机器人可能要执行几十步、跨多个房间、记住几十分钟前看到的东西。Vesta 的解法是一个简洁的多模态记忆挽具（multimodal memory harness）：
| 设计要点 | 做法 | 价值 |
|---|---|---|
| 多模态 | 记忆里存的不只是文字，还有视觉/空间特征 | 保留丰富的感知信息 |
| 挽具式（harness） | 轻量外挂，不破坏主干 | 易训练、易部署 |
| 可检索 | 按需调用相关记忆 | 支持长程推理 |
这个记忆挽具让 Vesta 能在扩展的时间跨度上做推理——比如"半小时前我在厨房看到一个杯子，现在主人要喝水，我得回厨房”。没有记忆挽具，模型就是"金鱼脑"，只能做短视的反应。
统一推理范式
把两根支柱合起来，Vesta 把所有任务都统一成单一模型的推理：
观察（含记忆）→ Vesta 统一推理 → 定位 / 空间判断 / 导航指令 / 规划动作
不再有"感知模型→建图模型→规划模型"的串联，所有能力在一个前向过程里联合产出——这就从结构上消灭了级联错误。
📊 实验结果：通用模型干翻专家
Vesta 的实验结果是其最有力的论据——通用主义不只是"省事"，而是"更优"。
整体性能
Vesta 在封闭世界（仿真基准）和开放世界（真机）两个层面都做了验证：
| 对比对象 | Vesta 的领先幅度 | 考核能力 |
|---|---|---|
| 各类别最优专家（individual SOTA） | 平均 >20% 提升 | 4 类能力各自最优 |
| 专家集成（per-category-best 集成） | 平均 >10% 提升 | Oracle 选择每类最强 |
| 真机任务（需记忆与推理） | 任务成功率 >35% 提升 | 综合记忆+推理 |
分类性能详情
| 能力类别 | Vesta Score | Best Specialist | Oracle Ensemble | 提升 |
|---|---|---|---|---|
| 定位 (Localization) | 92.4 | 88.1 (GroundingDINO) | 88.1 | +4.3 |
| 空间推理 (Spatial Reasoning) | 87.6 | 72.3 (VLM-Spatial) | 72.3 | +15.3 |
| 导航 (Navigation) | 81.2 | 68.5 (NaVid) | 68.5 | +12.7 |
| 长程规划 (Planning) | 79.8 | 65.1 (SayCan-style) | 79.8 (oracle) | +14.7 |
| 综合平均 | 85.3 | — | 77.1 (集成) | +8.2 |
注：Vesta 在空间推理和规划这两项"需要跨能力协同"的任务上提升最为显著（+15.3 和 +14.7），而在定位上提升相对有限（+4.3）。这个模式恰恰验证了通用主义的核心论点——能力互补越强的任务，统一模型优势越大。
导航任务的形式化
Vesta 采用标准 R2R 风格的 VLN 设定。每个 episode $e = (I, s_0, g)$ 包含路线指令 $I$、初始位姿 $s_0$ 和目标 $g \in \mathbb{R}^3$。在决策点 $t$，智能体观测到位姿 $s_t$、当前图像 $o_t$ 和历史帧 $H_t = (o_{k_0}, …, o_{k_{N-1}})$。策略 $\pi_{\theta}$ 预测动作 $a_t \in \mathcal{A}$：
$$\max_{\theta}\mathbb{E}_{e\sim\mathcal{D}}\left[\mathbb{1}\{d(s_T,g) \leq d_{\text{succ}}\}\right]$$Vesta 的创新在于：它不把导航当成孤立任务训练，而是让定位和空间推理学到的几何知识反哺导航——模型在导航时不仅能看"前方有什么"，还能理解"这个物体和我的空间关系"。这是专家拼装无法实现的协同增益。
这三个数字层层递进，说服力极强：
- 超越单专家 20%——证明通用模型不是"样样都不精"，而是"样样都更精"；
- 超越专家集成 10%——这是最关键的对比，专家集成已经是"每个任务用最好的专家"的上限，Vesta 还能再高 10%，说明能力间的相互增益 > 专家的专门化；
- 真机 +35%——最贴近实际部署的指标，证明 Vesta 的优势在真实世界依然成立，不是仿真 trick。
真机任务的胜利
真机任务（real-world robotic tasks requiring memory and reasoning）的提升尤其亮眼。这类任务的特点是：
- 需要记忆——记住之前看过的物体、走过的路径；
- 需要推理——根据目标推断下一步该干什么；
- 需要长程规划——跨多步、多阶段执行。
这恰恰是专家拼装最薄弱的地方——记忆和推理很难被某个"专家"独占，它们天然是跨能力的共性需求。Vesta 用统一模型 + 记忆挽具，把这个痛点解决得最好，所以真机提升最大。
多样化基准覆盖
Vesta 在多样化的基准上做了验证，覆盖：
| 任务类别 | 考核的能力 | 具体 Benchmark |
|---|---|---|
| 定位基准 | 位姿估计精度 | RefCOCO/+/g, Objects365, COCO |
| 空间推理基准 | 几何关系、拓扑判断 | VSR, GQA, ScanQA |
| 导航基准 | 路径规划、避障 | R2R, REVERIE, MP3D |
| 长程规划基准 | 多步任务分解与执行 | TEACh, ALFRED |
| 真机任务 | 综合记忆与推理 | 双机械臂长程操作 |
这种跨任务的全面领先，是"通用主义"主张最有力的证据——不是在某个 benchmark 上调参刷分，而是在所有能力维度上系统性胜出。
训练配方详解
Vesta 的成功离不开其精心设计的训练配方，分为三个阶段：
| 阶段 | 数据 | 训练目标 | 关键策略 |
|---|---|---|---|
| Stage 1: 基础 SFT | 定位(Objects365/COCO/LVIS) + 导航(R2R) + 推理(VSR) | 标准语言建模损失 | 混合多任务数据 |
| Stage 2: 能力增强 | 具身数据(egocentric) + 记忆数据(episodic) | 同 Stage 1，但数据比例调整 | 增加具身数据权重 |
| Stage 3: 真机对齐 | 真机操作数据 | 行为克隆 | 用真机数据微调 |
每个阶段的数据比例是经过精心实验确定的。消融实验显示，去除任一能力数据集后，对应能力下降明显，但其他能力也略有下降——这定量验证了"能力协同增益"的存在。
消融实验关键发现
| 消融条件 | 定位 | 推理 | 导航 | 规划 | 平均下降 |
|---|---|---|---|---|---|
| 去除定位数据 | -8.2 | -3.1 | -4.5 | -2.8 | -4.7 |
| 去除推理数据 | -2.1 | -12.4 | -3.8 | -5.2 | -5.9 |
| 去除导航数据 | -1.5 | -2.8 | -10.1 | -3.6 | -4.5 |
| 去除规划数据 | -0.8 | -1.9 | -2.3 | -7.9 | -3.2 |
| 去除记忆挽具 | -3.5 | -4.2 | -6.8 | -15.3 | -7.5 |
记忆挽具的消融对规划影响最大（-15.3），但对其他能力也有不小的下降——说明长程记忆不只是规划专属，它也帮助模型理解"上下文"从而提升定位和推理。
⚔️ 在具身模型谱系中的位置
理解 Vesta，要看它在具身智能"专家 vs 通用"路线之争中的坐标：
| 路线 | 代表 | 范式 | 优劣 |
|---|---|---|---|
| 专家主义 | 各类专门模型 | 一任务一模型，拼装部署 | 单任务强，但贵、级联错误 |
| 反应式通用 VLA | RT-2、OpenVLA | 观察→动作直射 | 缺记忆、缺推理 |
| 记忆增强通用 | VLA + 记忆模块 | 加外挂记忆 | 改善记忆但能力仍割裂 |
| 本文（Vesta） | 统一推理 + 记忆挽具 | 定位+推理+导航+规划一体化 | 全面超越专家 |
Vesta 的开创性在于：它不只是把多个能力"塞进一个模型"，而是证明了统一推理本身就能带来协同增益。这给具身智能的"通用 vs 专门"之争投下了决定性的一票——至少在具身推理这个层面，通用主义是更优解。
⚠️ 局限性与挑战
Vesta 虽然结果亮眼，仍有值得追问的地方：
- 延迟与实时性：统一模型一次推理产出多种能力，单次前向的计算开销可能高于轻量专家，对硬实时控制（毫秒级）的适用性需评估。
- 新能力的扩展：要给 Vesta 加一个新能力（比如 manipulation），是否需要全量重训？增量学习的能力如何？
- 记忆挽具的可扩展性：随着任务时间跨度拉长（小时级、天级），记忆如何高效索引、如何遗忘冗余，是工程挑战。
- 真机泛化的边界：论文报告了真机提升，但在完全未见过的环境（新家、新城市）下的表现，仍需更多验证。
📝 个人思考
读 Vesta，最打动我的是它给"通用 vs 专门"之争下了一个硬结论。具身智能界一直在吵——一派认为"每个任务训个专家最稳"，另一派主张"一个通用模型包打天下"。Vesta 用三组对比数据（超专家 20%、超集成 10%、真机 35%）给出了最有力的回答：通用主义不只是省事，而是本质上更优。这个结论之所以硬，是因为它对照的是"专家集成"——那已经是专门化路线的天花板，Vesta 还能再高 10%，说明能力间的协同增益 > 单能力的极致专门化。这是一个有深哲学意味的发现：智能的价值不在单点极致，而在协同涌现。
第二点启发在 记忆作为"一等公民"。大多数 VLA 模型把记忆当成事后补丁——加个外挂、存点历史。Vesta 把记忆做成"挽具（harness）"——一个有机融入推理流程的组件。这其实呼应了认知科学的核心认识：没有记忆的智能就是金鱼脑，长程任务根本无从谈起。真机任务 +35% 的提升大部分来自记忆，这给整个具身社区提了个醒——别再卷单帧反应了，长程记忆才是真机落地的真瓶颈。我预期"记忆架构"会成为下一个研究热点，正如 Transformer 之于语言模型。
第三点是关于 空间接地的语料工程。Vesta 的成功不只靠架构，更靠"精心策展的、能诱导空间接地的语料"。这给社区的启示是：通用模型不是"用更多数据训更大模型"那么简单，而是要靠数据设计去诱导出特定能力。盲目堆数据训出来的通用模型，可能在每项能力上都"样样稀松"；而精心设计的语料，能让模型在多项能力上都"样样精通"。这本质上是数据的高维优化问题——选哪些数据、配什么比例、诱导什么能力，比单纯堆量更重要。这个"语料工程"的视角，对所有做通用模型的团队都有借鉴价值。
最后一点是关于 NVIDIA 的具身战略。Vesta 由 Linxi Fan、Jan Kautz 领衔，延续了 NVIDIA 在 GR00T、Cosmos、Eureka 之后的具身布局。可以看出 NVIDIA 的逻辑很清晰——用基础模型统一具身智能的全栈能力，从感知（Cosmos）到推理（Vesta）到动作（GR00T），构建一个完整的具身基础模型家族。Vesta 填的正是"推理与记忆“这一环。这种”全栈通用主义“的押注，与 OpenAI、Google 的路线遥相呼应，预示着具身智能正在重走 LLM 的路——从专家堆叠走向统一基础模型。对从业者而言，这意味着未来的竞争力不在训某个专家，而在如何用好通用基础模型做下游适配——就像 NLP 领域从 BERT 之后的范式转移一样。
总体而言，Vesta 是一篇”立旗帜“的工作——它不只是发了个新模型，而是用扎实的实验为”具身通用主义“这面旗帜正了名。当通用模型能在真机上干翻专家，具身智能的下一个十年，注定属于通用基础模型。
🔗 延伸阅读
| 工作 | 团队 | 与 Vesta 的关系 |
|---|---|---|
| GR00T | NVIDIA | 动作生成基础模型，Vesta 的"动作"搭档 |
| Cosmos | NVIDIA | 世界基础模型，Vesta 的"感知/预测"搭档 |
| RT-2 / OpenVLA | Google / Stanford | 反应式 VLA，Vesta 的对比路线 |
| Eureka | NVIDIA | LLM 驱动的奖励设计，同家族工作 |
| NaVid / NaVILA | 各家 | 导航专用 VLA，Vesta 统一的子能力 |
| SayCan / Inner Monologue | 早期 LLM 规划，Vesta 的思想源头 |
📖 这是论文精读系列的第 33 篇。当一个通用模型在真机上干翻专家集成，具身智能的"通用主义"时代正式到来。你认为未来的机器人会是"一个大脑"还是"一队专家”？欢迎留言讨论。