📌 关于论文：小米在 VLA 方向公开的精确名为 “Last-VLA” 的论文暂未检索到，本篇按最接近的小米具身智能相关工作 LaST-VLA（Latent Spatio-Temporal VLA）精读——该论文由与小米具身智能团队（OneVL 同班人马：Yuechen Luo、Fang Li、Shaoqing Xu、Bing Wang、Yuannan Shen、Jianwei Cui、Long Chen、Guang Chen、Hangjun Ye 等）高度重合的作者完成，是小米 EV 自动驾驶 VLA 路线的关键前作。
📄 论文信息
- 标题：LaST-VLA: Thinking in Latent Spatio-Temporal Space for Vision-Language-Action in Autonomous Driving
- 团队：小米具身智能 / 同济大学（Guang Chen、Long Chen、Hangjun Ye 课题组）— Yuechen Luo、Fang Li、Shaoqing Xu、Yang Ji、Zehan Zhang、Bing Wang 等 13 人
- 发表：arXiv:2603.01928（2026 年 3 月首发，ICML 2026），代码已开源
github.com/luo-yc17/LaST-VLA - 骨干：InternVL3（2B / 8B 两个规格）
- 一句话总结：把 VLA 的"推理"从文字 CoT搬进连续隐空间，再用 3D 几何先验（VGGT）+ 世界模型动力学先验（Cosmos）两个老师去监督隐空间，让"思考"既高效又物理接地，单目前视相机刷新 NAVSIM 双榜。
🤔 要解决什么问题？
VLA 自动驾驶的推理范式目前有三种走法，各有死穴。LaST-VLA 用一张四象限对比图把痛点说得很透：
| 范式 | 优点 | 死穴 |
|---|---|---|
| (a) 直接 VLA | 快、无推理开销 | 缺乏推理，复杂长尾场景吃亏 |
| (b) 显式文本 CoT | 可解释、能分解任务 | 语义-感知脱耦：文字压丢视觉细节，产生幻觉；自回归生成慢、过度思考 |
| (c) 朴素隐式 CoT | 高效、绕开文字瓶颈 | 无中间监督，物理无关，训练不稳、易 model collapse |
| (d) 本文：物理接地的时空隐式 CoT | 高效 + 稳定 + 接地 | 需要外部基础模型当"老师" |
作者抓住了两个核心病灶：一是语言与物理现实的脱节——把稠密视觉压成离散文字，必然丢几何与动力学信息；二是对语言先验的过度依赖带来的安全隐患。而朴素地把推理塞进隐空间又因为缺少中间约束变成"物理无关的黑盒"。
核心问题：能不能让隐式推理既高效，又"接地"到真实物理？LaST-VLA 的答案是——用基础模型当特征级老师，蒸馏进隐空间。
🧠 核心架构：时空隐式 CoT
整个框架把端到端规划形式化为"先思考、再规划“的两段式条件生成：
P(a | Q) = P(Hdyn, Hgeo | Q) · P(a | Hdyn, Hgeo, Q)
其中 Q 是输入（图像 + 导航指令 + 自车状态 + 历史轨迹），H = {Hdyn, Hgeo} 是模型自回归生成的隐式 CoT，被显式拆成动力学流和几何流两股解耦特征，再去条件化出轨迹 a。同一个 VLA 在统一的自回归过程里既当 Thinker 又当 Planner。
双特征对齐：两个"老师"灌一个隐空间
LaST-VLA 最聪明的地方是不重建像素（预测深度图/未来视频太贵、信息冗余），而是把外部基础模型当特征级教师，用轻量 Adapter 把隐 CoT 拉到它们的流形上：
| 老师 | Adapter | 蒸馏目标 | 注入的物理能力 |
|---|---|---|---|
| Cosmos（视频世界模型） | Dynamics Adapter Φdyn | 短/中/长三组时序 token 对齐 Cosmos 潜特征 | 未来运动先验：交通参与者的运动趋势与环境连续变化 |
| VGGT（3D 几何基础模型） | Geometry Adapter Φgeo | 一组空间 token + 掩码视觉特征对齐 VGGT 稠密特征 | 度量几何先验：场景深度、占据结构、可行驶区域 |
对齐损失用简单的 MSE：
LWM = ‖pdyn − FCosmos‖²₂ ， L3D = ‖pgeo − FVGGT‖²₂
一个反 shortcut 的小细节：训练时对送进 Adapter 的视觉特征做随机二值掩码，防止 Adapter 偷懒直接抄原始像素模式，逼隐 CoT 真正承担"信息桥梁"的角色。两个 Adapter 的内部结构也针对各自任务做了差异化设计——Dynamics Adapter 把线性隐 token 序列映射到世界模型的动态流形，捕捉交通参与者从短期到长期（短/中/长三组时序 token）的连续运动趋势；Geometry Adapter 则把隐状态与原始视觉嵌入融合后再对齐 VGGT 的稠密特征空间，恢复出度量准确的深度、占据与可行驶区域结构。推理时两个老师全被旁路，零额外推理开销——它们只在训练阶段扮演"严师”，把物理知识烤进权重里。
🪜 两阶段渐进 SFT + GRPO 精修
训练总目标
Ltotal = λaction·LCE + λWM·LWM + λ3D·L3D
关键不是损失长什么样，而是两阶段动态调权重，把"学思考"和"学开车"解耦：
| 阶段 | 权重策略 | 注意力设计 | 目标 |
|---|---|---|---|
| Phase I 物理感知对齐 | λWM=λ3D=1.0 ≫ λaction=0.01 | 结构化因果掩码 | 先把隐 CoT 严格对齐到几何/动力学老师 |
| Phase II 隐接地规划 | λaction=1.0 ≫ λWM=λ3D=0.01 | 动作 token 可同时看 H 和原图 | 再让 planner 学会"用"这套物理推理出轨迹 |
结构化因果掩码：逼模型真去"思考"
这是 Phase I 的关键工程巧思，分两招：
- Latent Mutual Masking（隐变量互掩）：3D token 和 WM token 互相屏蔽，强迫两路独立学习，避免互相抄答案；
- Visual Bottleneck Masking（视觉瓶颈掩码）：禁止动作 token 直接看原始图像嵌入——把视觉信息全部逼进隐 CoT H，让 H 成为决策的唯一信息通道。
消融显示这套掩码单独贡献 +2.0 PDMS，是"逼出真推理"的关键。
第三阶段：GRPO 强化精修
SFT 之后，作者冻结两个 Adapter，用 **GRPO（Group Relative Policy Optimization）**继续打磨动作生成。奖励函数三件套：
- Rtraj（PDMS 奖励）：把预测轨迹的 PDMS 分数归一化到 [0,1]，奖励整体质量；
- Rfmt（格式奖励）：离散指示，严格惩罚输出格式不符；
- Rgoal（终点奖励）：按预测终点与真值 L1 距离分层给分。
总奖励 R = λtrajRtraj + λfmtRfmt + λgoalRgoal。GRPO 在 SFT 基础上把 8B 模型从 87.3 推到 91.3 PDMS，是性能跃迁的主要来源。
📊 实验结果：单目刷新 NAVSIM 双榜
NAVSIM：纯视觉登顶
| 方法（NAVSIM v1） | 传感器 | PDMS ↑ |
|---|---|---|
| UniAD | 多相机 | 83.4 |
| DiffusionDrive | 相机 + LiDAR | 88.1 |
| WoTE | 相机 + LiDAR | 88.3 |
| DriveVLA-W0-7B | 单目 | 90.2 |
| AdaThinkDrive-8B*（文本 CoT） | 单目 | 90.3 |
| ReCogDrive-2B | 单目 | 90.8 |
| InternVL3-8B（RL，文本 CoT 基线） | 单目 | 87.2 |
| LaST-VLA-2B（RL） | 单目 | 91.1 |
| LaST-VLA-8B（RL） | 单目 | 91.3（SOTA） |
NAVSIM v2（更严苛的 EPDMS）上 LaST-VLA-8B 拿到 87.1，比上代 SOTA DriveVLA-W0 高 1.0。2B 小模型都能打过一众大模型，证明隐式 CoT 的增益不是堆参数来的。
SURDS / NuDynamics：空间与动力学推理
| 方法 | Yaw ↑ | Pixel ↑ | Depth ↑ | L/R ↑ | F/B ↑ | Score ↑ | Motion ↑ |
|---|---|---|---|---|---|---|---|
| Qwen2.5-VL-72B | 11.6 | 6.1 | 44.0 | 66.2 | 14.9 | 33.5 | 54.8 |
| InternVL3-8B | 45.2 | 61.8 | 100.0 | 86.2 | 84.4 | 76.6 | 74.0 |
| LaST-VLA-8B | 70.2 | 71.3 | 100.0 | 90.3 | 88.0 | 84.3 | 81.2 |
最亮眼的是 Yaw 朝向估计 70.2%（72B 的 Qwen2.5-VL 只有 11.6%）和 Motion 运动状态 81.2%——这正是 VGGT 几何蒸馏和 Cosmos 动力学蒸馏直接喂出来的能力，普通 VLM 是"空间迷路"的，LaST-VLA 把这个短板彻底补上了。
关键消融
| 维度 | 结论 |
|---|---|
| 3D + WM 双路 | SFT 阶段 +3.4 PDMS，RL 阶段 +4.1 PDMS，DAC 提升最大（几何接地） |
| 隐式 vs 文本 CoT | 无监督隐式 89.8（训练震荡）；有监督隐式 91.3（稳定）；文本 CoT 仅 87.2 |
| 结构化因果掩码 | +2.0 PDMS，是"逼出真推理"的关键 |
| 隐 token 数 | N3D=12、NWM=3×12 最优；太少信息瓶颈，太多冗余难优化 |
消融里最有说服力的是图 4 的训练曲线：无监督隐式 CoT 在 RL 后期还在剧烈震荡（橙线），而物理接地的版本收敛又稳又高（红线）——这直接回答了"隐式推理为什么需要监督"。
定性可视化：物理接地带来的安全收益
作者用两组对比案例直观展示了 LaST-VLA 相对文本 CoT 基线的安全优势。第一组是**可行驶区域合规（DAC）场景：文本 CoT 基线（红色轨迹）会越出车道边界、侵犯不可行驶区域，而 LaST-VLA（绿色轨迹）凭借 VGGT 蒸馏出的几何接地，始终保持精准的车道贴合。第二组是碰撞时间（TTC）**场景：面对前车减速，基线无法有效制动导致追尾，而 LaST-VLA 因为有 Cosmos 注入的动力学 foresight，能提前预判周围参与者的运动趋势、及时刹车避撞。
这两个案例恰好对应了表 4 消融的两个核心增益——几何流主攻 DAC（确保不越界），动力学流主攻 TTC（确保不追尾）。一句话总结：几何先验让模型"知道边界在哪"，世界模型让模型"预知下一秒会发生什么"，二者合起来就是驾驶安全的核心。
⚔️ 与同门 OneVL 的传承关系
LaST-VLA 是小米具身自动驾驶 VLA 路线的第一篇奠基作，后续的 OneVL（arXiv:2604.18486）沿用了完全相同的"隐式 CoT + 双辅助解码器监督“思想：
| 维度 | LaST-VLA（前作） | OneVL（后作） |
|---|---|---|
| 监督老师 | Cosmos（世界模型）+ VGGT（3D） | 语言解码器 + 视觉世界模型解码器 |
| 隐 CoT 拆分 | 动力学流 + 几何流 | 35 视觉 token + 20 语言 token |
| 推理方式 | 自回归生成隐 token | 一步 prefill 并行填充 |
| 骨干 | InternVL3 2B/8B | Qwen3-VL 4B |
| NAVSIM PDMS | 91.3 | 88.84（但延迟更低） |
| 核心创新 | 物理接地的隐式推理 | 首个超越显式 CoT 的隐式方法 |
可以说 LaST-VLA 验证了”隐式推理必须物理接地“的命题，OneVL 则把它工程化成了一步 prefill 的实时可部署形态——这条技术脉络是小米 EV 在 VLA 推理范式上的核心押注。
📝 个人思考
LaST-VLA 最打动我的是它精准地诊断了"隐式 CoT 为什么不 work”。社区此前做 latent CoT 普遍踩坑——把推理塞进连续隐空间，又只用最终答案监督，结果模型学到的隐变量跟物理世界毫无关系，训练还崩。LaST-VLA 的洞察是：没有中间监督的隐空间就是黑盒，而自然语言不是唯一可选的监督介质——用世界模型和 3D 基础模型的特征当老师，比文字 CoT 更贴近驾驶真正需要的几何与动力学。这个思路对任何想把"推理"压进隐空间的领域都有借鉴价值。
第二个启发是它的两阶段权重反转。Phase I 让物理对齐损失压倒动作损失、并用视觉瓶颈掩码把图像"切断"，Phase II 再反转权重、放开视觉。这种"先逼模型学思考、再让它学开车"的渐进策略，本质上是在解一个多目标优化的冲突——硬练必然顾此失彼。结构化因果掩码单独贡献 +2.0 PDMS，说明信息流的约束有时比损失函数更重要。
第三点是关于几何先验的不可替代性。Yaw 朝向估计从 72B 模型的 11.6% 跃到 70.2%，这种"绝对空间定位"能力是大 VLM 用互联网图文数据死学学不出来的。VGGT 这类 3D 基础模型相当于把几何引擎离线蒸馏进了语言模型，这或许是补齐 VLM 空间智能短板最经济的路径——比堆参数、堆数据划算得多。更巧妙的是，作者选择特征级蒸馏而非像素级重建（不生成深度图/未来视频），既绕开了生成式方法的高昂计算开销和信息冗余，又把物理知识高效地压进了隐空间。这种"借老师、不请老师上车"的思路，对算力受限的车端部署尤其友好。
最后一点隐忧：LaST-VLA 的推理仍是自回归生成隐 token（N3D+NWM=48 个），延迟优势相对显式 CoT 没那么夸张，真正"实时可部署"的形态是后作 OneVL 的一步 prefill。这也解释了为什么小米要连发两篇——第一篇证道，第二篇工程化。另外值得追问的是，Cosmos 和 VGGT 作为"老师"本身有其数据分布偏置，蒸馏进来的几何/动力学先验在它们没见过的极端天气、罕见地理场景下是否依然可靠，论文并未充分讨论——这是隐式蒸馏路线长期需要面对的泛化边界问题。对自动驾驶从业者而言，LaST-VLA 给出的最大启示是：未来驾驶 VLA 的护城河不在语言推理，而在物理接地的隐式表征，谁能把世界模型和几何先验高效蒸馏进端到端模型，谁就握住下一波竞争力的钥匙。
🔗 延伸阅读
| 工作 | 团队 | 与 LaST-VLA 的关系 |
|---|---|---|
| OneVL | 小米 | 同门后作，把隐式 CoT 工程化为一步 prefill，首个超越显式 CoT |
| AdaThinkDrive | — | 自适应文本 CoT，LaST-VLA 在 NAVSIM 上超越它 |
| ReCogDrive | — | 强化认知驾驶框架，LaST-VLA 单目反超 |
| DriveVLA-W0 | 中科院 × 蔚来 | 同样用世界模型做稠密监督，但走显式图像生成路线 |
| Cosmos | NVIDIA | 世界基础模型，本文的动力学老师 |
| VGGT | — | 3D 几何基础模型，本文的几何老师 |
| InternVL3 | OpenGVLab | 本文的 VLM 骨干 |
| GRPO | DeepSeek | 本文 RL 阶段采用的策略优化算法 |
📖 这是论文精读系列的第 18 篇。当"思考"被搬出语言、塞进物理接地的隐空间，驾驶 VLA 的推理范式正在被重写。你认为隐式 CoT 会成为端到端自动驾驶的新标配吗？欢迎留言讨论。