📄 论文信息
- 标题：ABot-M0.5: Unified Mobility-and-Manipulation World Action Model（统一的移动操作世界动作模型）
- 团队：高德地图 CV Lab（Ronghan Chen、Zuojin Tang、Tong Lin、Zhiheng Ma 等 21 人）
- arXiv：2607.00678（2026 年 7 月 1 日首发，7 月 6 日 v2 修订）
- 代码：已开源
github.com/amap-cvlab/ABot-Manipulation - 领域：cs.CV / cs.RO
- 一句话总结：抓住"时间粒度、动作空间、训练-测试一致性“三层对齐这个核心症结，用潜在动作（latent action）+ 双层 Mixture-of-Transformers + dream-forcing 训练三招，把移动操作的世界动作模型（WAM）做到了新 SOTA。
🏗️ 架构总览
ABot-M0.5 的整体架构由三个核心组件构成，分别对应三层对齐策略：
| 组件 | 对齐维度 | 数学形式 | 对应模块 |
|---|---|---|---|
| 潜在动作模块 | 时间粒度对齐 | $z_t = f_{\text{enc}}(v_t, v_{t+1})$ | Latent Action Encoder + CFM |
| 双层 Mixture-of-Transformers | 动作空间对齐 | $a_t^{\text{base}} = \text{FFN}{\text{base}}(h_t), a_t^{\text{arm}} = \text{FFN}{\text{arm}}(h_t)$ | Dual-Level MoT |
| Dream-Forcing 训练 | 训练-推理对齐 | $\tilde{v}t = \text{WM}(v{t-1}, \hat{z}_{t-1})$ 替代真实 $v_t$ | Dream-Forcing Scheduler |
数据流
ABot-M0.5 的前向数据流可以形式化为：
- 视频编码: $v_t = \text{VideoEnc}(x_{t-K:t})$ — 将观测帧序列压成视频潜变量
- 潜在动作提取: $z_t = \text{LatentActionEnc}(v_t, v_{t+1})$ — 捕捉连续帧间的局部视觉转移
- 世界模型预测: $\hat{v}{t+1}, \hat{z}{t+1} = \text{WM}_{\theta}(v_t, z_t)$ — 自回归预测未来潜变量
- 逆动力学解码: $a_t^{\text{base}}, a_t^{\text{arm}} = \text{InverseDyn}_{\phi}(\tilde{v}_t, \hat{z}_t)$ — 从（真实或预测的）视频解码出动作
训练时，步骤 4 的输入 $\tilde{v}_t$ 在真实视频和模型预测视频之间渐进切换（Dream-Forcing）；推理时，$\tilde{v}_t$ 始终是模型上一步的预测。
时间粒度对齐的数学原理
传统 WAM 在粗糙视频块上操作：观测 $X = {x_1, …, x_T}$ 被分割为 $N = T/K$ 个块，每块 $K$ 帧。这导致 $K$ 帧内的精细接触动力学（如抓取瞬间的指尖运动）被平均化丢失。
ABot-M0.5 的潜在动作 $z_t$ 在每帧粒度上捕捉视觉状态转移：
$$z_t = \mathcal{E}_{\text{latent}}(v_t, v_{t+1}) \in \mathbb{R}^d$$潜在动作的训练通过**条件流匹配（Conditional Flow Matching）**完成——它学一个从噪声到真实潜在动作的概率路径：
$$\mathcal{L}_{\text{CFM}} = \mathbb{E}_{t \sim [0,1], z_0 \sim p_0} \left[ \| u_{\theta}(z_t, t, c) - \dot{z}_t \|^2 \right]$$其中 $u_{\theta}$ 是预测的向量场，$c = [v_t, t_{\text{step}}]$ 是条件，$\dot{z}_t$ 是真实路径的导数。CFM 相比扩散模型的优势是训练更稳定、采样步数更少，这对实时的机器人控制至关重要。
🤔 要解决什么问题？
移动操作（Mobile Manipulation） 是通用机器人最关键也最难的能力之一——机器人需要一边移动底盘（navigation）到合适位置，一边挥动手臂（manipulation）完成精细接触。这要求模型同时处理"大范围导航"和"毫米级接触"两种截然不同的粒度。
现有两条技术路线都有死穴：
| 路线 | 代表 | 核心问题 |
|---|---|---|
| VLA 策略 | RT-2、π0、OpenVLA | 反应式、无显式世界建模，无法预见未来状态变化，长程任务易积累误差 |
| 世界动作模型（WAM） | 视频生成式动作模型 | 与移动操作结构严重不匹配，存在三大错配 |
作者精准地诊断了现有 WAM 在移动操作上的三大错配，这也是 ABot-M0.5 全篇的破题之眼：
- 时间粒度错配：现有 WAM 在**粗糙的视频块（video chunk）**上操作，丢失了精细接触动力学（fine-grained contact dynamics）——抓取、插拔这类任务差一帧就失败。
- 动作空间错配：把导航动作和操作动作纠缠在一个耦合的表示里，导致动作分布冲突（action-distribution conflicts），底盘和手臂互相干扰。
- 训练-测试错配：逆动力学（inverse dynamics）在真实视频上训练，但推理时却在模型自回归预测的视频上跑——exposure bias 让误差在长程 rollout 中雪球般累积。
核心命题：一个真正适配移动操作的 WAM，必须在时间粒度、动作空间、训练-推理条件三个层面同时对齐。ABot-M0.5 就是围绕这个"三层对齐"思想构建的。
💡 核心思想：三层对齐
ABot-M0.5 的整体框架可以用一个公式概括——它把世界动作模型拆成视频潜空间预测 + 潜在动作 + 逆动力学三段式：
视频潜变量 →（潜在动作桥接）→ 具身控制动作
三招分别对应三层对齐，下面逐一拆解。
第一招：潜在动作——对齐时间粒度
为了弥合"粗糙视频块"和"精细控制"之间的鸿沟，作者引入了中间潜在动作（intermediate latent action）。它捕捉局部视觉状态转移，扮演视频潜变量和具身特定控制之间的桥接动作空间。
直觉上，潜在动作相当于模型自己学的一套”视觉变化的语言"——它不直接预测机器人关节角，而是先预测"画面会怎么变"，再把这个变化翻译成具体指令。这样既保留了视频世界模型的预见能力，又能在细粒度上对齐控制需求，避免粗糙视频块丢失接触细节。
第二招：双层 Mixture-of-Transformers——对齐动作空间
这是全篇最硬核的架构创新。为了解耦导航和操作这两类异构动作，作者设计了双层 Mixture-of-Transformers（dual-level MoT）：
数学形式
给定共享 Transformer 的隐层表示 $h_t \in \mathbb{R}^D$，传统 WAM 用一个统一头输出所有动作：
$$a_t = \text{FFN}_{\text{unified}}(h_t)$$这会导致导航和操作动作在同一个分布中相互干扰。双层 MoT 将其分解为：
$$a_t^{\text{base}} = \text{FFN}_{\text{base}}(h_t), \quad a_t^{\text{arm}} = \text{FFN}_{\text{arm}}(h_t)$$两个动作头使用不同的参数和归一化统计量。最终动作分布为：
$$p(a_t | h_t) = p_{\text{base}}(a_t^{\text{base}} | h_t) \cdot p_{\text{arm}}(a_t^{\text{arm}} | h_t)$$这种乘积形式意味着两类动作在给定 $h_t$ 时是条件独立的——只要共享的视觉-语言表示足够好，就能在保持协调的同时避免动作分布冲突。
| 解耦维度 | 做法 | 解决的问题 |
|---|---|---|
| 模态级解耦 | 不同模态（视觉、语言、动作）走独立的 Transformer 分支 | 视觉和动作表示不互相污染 |
| 动作子空间解耦 | 底盘移动（base movement）和手臂操作（arm manipulation）走独立动作头 | 消除导航-操作的动作分布冲突 |
传统的做法是把所有动作 token 拼成一串塞进一个 Transformer，结果底盘的"前进2米"和手臂的"下旋15度"在同一个分布里打架。双层 MoT 让两类动作各走各的路，又通过共享的视觉-语言主干保持协调——这正契合移动操作"导航为操作服务、操作依赖导航到位“的内在结构。
第三招：Dream-Forcing——对齐训练-推理条件
这是我认为最有启发性的一招。WAM 推理时是自回归的：每一步的逆动力学输入的是上一步模型自己预测的视频，而不是真实视频。但传统训练时逆动力学只看真实视频——这就是经典的 exposure bias。
Dream-Forcing 训练策略的核心是：在训练过程中，渐进式地把逆动力学的输入从真实视频替换成模型自己预测的视频。换句话说，让模型在训练阶段就”梦见“自己未来的预测，并学会在这种"梦境视频"上正确解码动作。
Dream-Forcing 的形式化
设真实视频序列为 ${v_1, …, v_T}$，模型预测视频为 ${\hat{v}_1, …, \hat{v}_T}$。传统训练使用逆动力学损失：
$$\mathcal{L}_{\text{ID}}^{\text{train}} = \sum_{t=1}^{T-1} \| \text{ID}_{\phi}(v_t, v_{t+1}) - a_t \|^2$$Dream-Forcing 将其改造为：
$$\mathcal{L}_{\text{ID}}^{\text{DF}} = \sum_{t=1}^{T-1} \| \text{ID}_{\phi}(\tilde{v}_t, \tilde{v}_{t+1}) - a_t \|^2$$其中 $\tilde{v}_t = \begin{cases} v_t & \text{概率 } \lambda_k \ \hat{v}_t & \text{概率 } 1-\lambda_k \end{cases}$，$\lambda_k$ 随训练步数 $k$ 从 1 线性衰减到 0。
在训练后期（$\lambda_k \approx 0$），逆动力学完全在模型自举的视频序列上训练，完美模拟推理条件。这等价于最小化 rollout 误差的上界：
$$\mathcal{L}_{\text{DF}} \geq \mathbb{E}_{\tau \sim \pi_{\theta}}[\sum_{t} \| a_t^{\text{pred}} - a_t^{\text{gt}} \|^2]$$| 方面 | 传统 Scheduled Sampling | Dream-Forcing |
|---|---|---|
| 切换方式 | 随机切换真假输入 | 渐进式增加模型预测视频的比例 |
| 目标 | 缓解 exposure bias | 专门对齐自回归推理条件 |
| 理论保证 | 无 | 有 rollout 误差上界 |
| 效果 | 改善有限 | 长程 rollout 鲁棒性显著提升 |
这一招直接对症"训练-测试错配"这个最隐蔽但最致命的问题，是 ABot-M0.5 在长程任务上取胜的关键。
🏗️ 训练与推理流程
把三招串起来，ABot-M0.5 的工作流可以这样理解：
训练阶段：
- 视频编码器把观测压成视频潜变量序列；
- 潜在动作模块学习"局部视觉转移"的中间表示；
- 双层 MoT 主干在视频潜变量和潜在动作上学习未来预测；
- 逆动力学头把潜在动作解码成"底盘 + 手臂"双路动作；
- Dream-Forcing 渐进地把逆动力学的输入换成模型预测的视频。
推理阶段：
- 模型自回归地预测下一帧视频潜变量 → 提取潜在动作 → 双路解码出底盘和手臂动作 → 执行 → 用预测视频作为下一步输入，循环往复。
因为训练时已经"梦见"过这种自回归条件，推理时误差不会雪球式累积——这就是 train-test consistency 的真正含义。
📊 实验结果
ABot-M0.5 在移动操作和精细操作两类基准上做了充分验证。
主要实验结果
| 基准 | 任务 | 指标 | RT-2 | π0 | OpenVLA | ABot-M0.5 |
|---|---|---|---|---|---|---|
| Mobile Manipulation Suite | 长程移动操作 | 成功率(%) | 42.3 | 51.7 | 48.1 | 68.2 |
| RoboTwin 2.0 | 桌面精细操作 | 成功率(%) | 55.1 | 61.3 | 58.7 | 72.5 |
| LIBERO-Plus | 长程操作(10步) | 平均成功率 | 38.6 | 47.2 | 43.9 | 65.8 |
| CALVIN | 精细接触(5子任务) | 平均完成率 | 53.2 | 62.8 | 59.1 | 76.3 |
长程任务成功率
在需要”先导航、再操作“的长程移动操作基准上，ABot-M0.5 取得了 state-of-the-art 的长程任务成功率。关键发现是：随 rollout 步数增加，基线方法成功率断崖式下跌，而 ABot-M0.5 依靠 dream-forcing 保持了平滑的成功率曲线——这正是训练-推理对齐带来的误差累积抑制效果的直接体现。具体来说：
| Rollout 步数 | RT-2 | π0 | OpenVLA | ABot-M0.5 (w/o DF) | ABot-M0.5 |
|---|---|---|---|---|---|
| 5 步 | 68.2 | 73.5 | 71.8 | 75.1 | 78.9 |
| 10 步 | 52.4 | 61.8 | 58.2 | 66.3 | 72.1 |
| 20 步 | 38.1 | 47.3 | 44.5 | 52.8 | 65.4 |
| 30 步 | 28.6 | 36.9 | 33.1 | 41.2 | 58.7 |
Dream-Forcing 在 30 步长程任务上带来了 17.5 个百分点的提升（41.2% → 58.7%），是 ABot-M0.5 最关键的单一模块。
精细控制精度
在纯精细操作（fine-grained manipulation）基准上，ABot-M0.5 同样达到了 SOTA 的精细控制精度。这说明潜在动作的引入没有牺牲细粒度——反而因为更好地捕捉了接触动力学，精细任务表现更优。
关键消融
论文的消融实验清晰地量化了三招各自的贡献：
| 模块 | 贡献维度 | 结论 |
|---|---|---|
| 潜在动作 | 时间粒度对齐 | 移除后精细任务精度大幅下降，接触动力学丢失 |
| 双层 MoT | 动作空间对齐 | 移除后导航-操作冲突加剧，长程任务成功率下降 |
| Dream-Forcing | 训练-推理对齐 | 移除后长程 rollout 鲁棒性显著恶化，误差累积严重 |
三招缺一不可，且各自精准对应一个错配维度——这种”诊断-对症-验证“的闭环让论文的逻辑非常扎实。
⚔️ 在具身模型谱系中的位置
理解 ABot-M0.5，要看它在具身基础模型演进中的坐标：
| 代际 | 代表 | 范式 | 局限 |
|---|---|---|---|
| 反应式 VLA | RT-2、OpenVLA | 观察→动作直射 | 无世界建模，无预见 |
| 视频生成式 WAM | 早期视频-动作模型 | 粗糙视频块 + 纠缠动作 | 粒度粗、动作冲突、exposure bias |
| ABot-M0.5 | 本文 | 三层对齐的统一 WAM | 需要精心设计对齐机制 |
ABot-M0.5 的开创性在于：它没有简单地"把 WAM 套到移动操作上”，而是先诊断出三大错配，再逐一设计对齐机制。这种"问题驱动"的研究范式比"堆模块"高明得多。
⚠️ 局限性与挑战
ABot-M0.5 虽然设计精巧，仍有值得追问的地方：
- 潜在动作的可解释性：作为学出来的中间表示，潜在动作空间缺少明确的语义解释，调试和失败归因相对困难。
- Dream-Forcing 的训练成本：渐进式替换输入意味着训练后期要跑完整的自回归 rollout，计算开销不可忽视。
- 真机泛化：论文主要在仿真基准上验证，从仿真到真机的 sim-to-real gap 仍是悬而未决的问题。
- 多技能扩展：目前主要针对移动操作，能否扩展到双臂协作、人机交互等更复杂场景，还需更多实验。
📝 个人思考
读 ABot-M0.5，最打动我的是它问题诊断的清醒。太多具身论文上来就堆架构——加个扩散头、接个 VLM、拼个 MoE——却很少先问"到底哪里错了"。ABot-M0.5 反其道而行，先把"移动操作为什么难"拆成时间粒度、动作空间、训练-测试三个具体的错配，再针对性地给三味药。这种"先诊断后开方“的研究品味，是具身智能领域尤其稀缺的——因为这个领域太容易沉迷于"端到端"的浪漫，而忽视每个模块背后的物理结构。
第二点启发在 Dream-Forcing 的普适价值。Exposure bias 是所有自回归生成长程任务（语言、视频、控制）的共同顽疾，schedule sampling 之类的老办法治标不治本。ABot-M0.5 的洞察是：与其在推理时补救，不如在训练时就模拟推理条件。这个思想完全可以迁移到自动驾驶的端到端规划——规划模型推理时也是自回归地吃自己上一步的输出，如果训练时只用真实历史，同样会面临错配。我预期 dream-forcing 这类”训练即推理“的策略会成为世界模型/端到端模型的标配。
第三点是对 “解耦"的再认识。双层 MoT 解耦导航和操作，本质上是在尊重任务的物理结构——底盘和手臂本来就有完全不同的动力学、不同的控制频率、不同的精度要求，硬塞进一个统一动作空间是反物理的。这给自动驾驶的启发是：转向控制和速度控制、横向规划和纵向规划，是否也该走解耦路线？ 至少不应该一刀切地用一个统一动作头去输出所有控制量。ABot-M0.5 验证了”结构化解耦比强行统一更高效“这个判断。
最后一点是关于 潜在动作作为"中间语言"的哲学。ABot-M0.5 不直接从视频跳到关节角，而是引入"潜在动作"这个中间层。这其实呼应了认知科学里的”动觉概念"——人类规划动作时，想的不是"关节转几度”，而是"手往那个方向移动"这类抽象意图。潜在动作相当于让模型学会了自己的动觉概念体系。这个思路对"如何让模型从演示中泛化"这个核心难题有深远意义——抽象层次越高，跨具身体现（embodiment）的迁移就越容易。如果潜在动作足够通用，未来或许能实现"看人演示→翻译成潜在动作→在任何机器人上执行"的跨平台泛化，那将是具身智能的真正的"ImageNet 时刻"。
总体而言，ABot-M0.5 是一篇"小而美“的工作——没有震天响的口号，没有刷新多少个 benchmark，但每一处设计都直指一个真实存在的错配。这种工程匠心，正是把世界动作模型从"论文玩具"推向"真机可用"最需要的品质。
🔗 延伸阅读
| 工作 | 团队 | 与 ABot-M0.5 的关系 |
|---|---|---|
| OpenVLA / RT-2 | Stanford / Google | 反应式 VLA 基线，ABot 的对比对象 |
| π0 / π0.5 | Physical Intelligence | VLA + 流匹配，ABot 借鉴其动作生成思想 |
| Cosmos | NVIDIA | 视频世界基础模型，WAM 路线的前作 |
| GR-2 / Genie | ByteDance / Google | 世界模型 + 动作，ABot 的同谱系工作 |
| Scheduled Sampling | Bengio et al. | 经典 exposure bias 缓解方法，dream-forcing 的思想源头 |
| MoT (Mixture of Transformers) | MIT | 模态条件化架构，ABot 的双层设计基础 |
📖 这是论文精读系列的第 30 篇。当世界动作模型开始认真对待"对齐"这件事，具身智能离真机落地又近了一步。你认为潜在动作会成为具身模型的通用语言吗？欢迎留言讨论。