📄 论文信息
- ACT：Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware（Tony Zhao, Vikash Kumar, Sergey Levine, Chelsea Finn，RSS 2023，arXiv: 2304.13705）
- ALOHA：ALOHA: A Low-cost Open-source Hardware System for Bimanual Teleoperation（Zipeng Fu, Tony Zhao, Chelsea Finn，arXiv: 2304.07071）
- 团队：斯坦福大学 + Google DeepMind
- 一句话总结：ALOHA 用不到 2 万美元打造一套开源双臂遥操作平台采集高质量示范数据，ACT 用"动作分块 + CVAE Transformer"策略让机器人学会高精度双臂操作——硬件 + 算法两手抓，开启了具身智能数据采集的新范式。
🤔 要解决什么问题？
让机器人学会精细双臂操作（比如打开杯盖、插电池、拉拉链）一直是机器人学习的硬骨头。障碍有三：
- 数据从哪来：双臂操作需要大量人类示范，但商用遥操作设备动辄数万美元甚至更高，普通实验室用不起，数据成了稀缺资源。
- 复合误差（Compounding Error）：模仿学习里，策略一旦某一步有小误差，后续状态就偏离示范分布，误差像滚雪球一样放大，最后任务崩盘。
- 人类示范的多模态性：同一个任务，人可能先抓左边再抓右边，也可能反过来。这种"多种合理解法"的多模态分布，用简单的回归（如 L2 loss）会被平均化，输出一个谁都不像的"中间动作"。
核心矛盾：如何在低成本硬件上采集数据，并设计一个抗复合误差、能处理多模态的策略？
ACT + ALOHA 的回答是两条腿走路：ALOHA 解决"数据从哪来"，ACT 解决"怎么学得好"。
🦾 ALOHA：低成本双臂遥操作平台
设计哲学：用"同构 leader-follower"把成本打下来
ALOHA（A Low-cost Open-source Hardware for Bimanual Action）的核心思路是用两套同构的机械臂做主从控制：
| 组件 | 说明 |
|---|---|
| 从臂（Follower） | 真正执行任务的机械臂（ViperX 300 6DOF），配夹爪，工作空间约 40cm |
| 主臂（Leader） | 操作员手动操控的机械臂（同型号），无电机负载，手感轻盈 |
| 控制方式 | 主臂关节角度实时映射到从臂，从臂"跟随"主臂，实现直觉式双边控制 |
关键巧思在于同构（leader 和 follower 完全一样的机械结构）：操作员握住主臂运动，从臂做一模一样的动作，无需任何逆运动学求解，操作极其直觉——“我手动怎么掰，机器人就怎么动”。
让现成机械臂可"被手拖动"的工程巧思
普通机械臂为了精度，减速比很大，电机几乎"拖不动"（不可 backdrivable），无法当主臂被人手轻松挥动。ALOHA 的关键工程改造是：给主臂换上高黏度润滑脂并拆除部分传动约束，让它变得"可被手拖"（backdrivable），同时仍能读取关节角度。这样操作员挥动主臂时几乎感觉不到阻力，长时间操作不累，示范质量因此大幅提升。从臂则保持原厂高减速比以保证定位精度。一个看似不起眼的机械改造，却是整套系统能成立的物理基础——这提醒我们：机器人系统的突破，往往卡在"机械 + 电控 + 算法"的接缝处。
为什么能这么便宜
| 传统遥操作 | ALOHA |
|---|---|
| 用 Phantom / Touch Haptic 等力反馈手柄，单台数千至上万美元 | 主从臂都用现成的 ViperX 300（Interbotix），整机 ~2 万美元 |
| 需要复杂 IK、力觉建模 | 同构直连，免 IK |
| 工作空间小、不直觉 | 全尺寸双臂，操作直觉 |
ALOHA 大量使用 3D 打印件做夹爪、相机支架、润滑改造，用 4 个第三方相机（顶部 + 双手腕 + 前方）同步采集。整个系统完全开源（CAD、固件、软件），任何实验室都能复刻。
数据采集流程
操作员坐在双臂前，双手各握一个主臂，看着机器人实时跟随，一遍遍完成任务。每条示范记录：
- 4 路相机图像（高分辨率 RGB）
- 双臂关节位置（14 维：每臂 7 维）
- 夹爪状态
一个任务通常只需 50 条左右示范就能训练，采集成本极低。这正是 ACT 能跑通的前提——没有好数据，再好的算法也白搭。
💡 ACT：动作分块 + CVAE Transformer
ACT（Action Chunking with Transformers）是真正让这套数据发挥威力的策略算法。它针对模仿学习的两大痼疾——复合误差和多模态——给出两个对应的解。
解法一：Action Chunking（动作分块）对抗复合误差
传统模仿学习是逐步预测：每一步根据观测预测一个动作，执行后再预测下一个。步数越多，小误差累积越严重。
ACT 的做法是一次性预测未来 k 步动作（一个"动作块" chunk，论文取 k=100）：
- 每步策略不是输出单个动作，而是输出一整段轨迹
- 预测步数从"任务总步数"骤降为"任务总步数 / k"，等效预测次数减少 k 倍，复合误差被大幅压缩
- chunk 内动作天然连贯平滑，避免逐帧抖动
类比：与其每走一步都重新问路（容易偏），不如一次规划好后面 100 步的路线（更稳）。
解法二：CVAE 对抗多模态
为什么不用简单 Transformer 直接回归 k 步动作？因为人类示范是多模态的——L2 回归会把"从左抓"和"从右抓"平均成一个无意义的中间动作。
ACT 把策略建模为条件变分自编码器（CVAE）：
| 组件 | 输入 | 输出 | 作用 |
|---|---|---|---|
| 编码器（仅训练用） | 当前观测 + 示范动作序列 | 潜变量 z（style） | 把"该怎么完成"压缩成一个风格变量 |
| 解码器（推理用） | 当前观测 + 采样的 z | 未来 k 步动作 | 根据观测和风格，生成一段动作 |
训练时编码器把示范动作的信息灌进 z，解码器学会"给定观测和 z，重建出示范动作"。推理时丢弃编码器，从先验 N(0, I) 采一个 z，解码器直接生成动作。z 承担了"多模态选择"的角色：不同的 z 对应不同的合理解法，从而避免平均化。
架构：Transformer 是骨干
编码器和解码器都用 Transformer（类似 BERT 的双向结构）：
- 观测（关节角度 + 图像 token）和动作序列被打包成 token 序列喂入
- 解码器通过自注意力整合观测与 z，输出 k 步动作的关节角度
Temporal Ensemble（时间集成）
动作分块带来一个新问题：相邻两次预测会重叠（上一次预测的 100 步还没执行完，下一次又预测了新的 100 步）。ACT 不简单"覆盖"，而是对重叠区做加权平均（时间集成），权重随"距当前时刻"指数衰减，越近的动作权重越高。这让最终执行轨迹既平滑又稳定，是 ACT 落地的关键工程细节。
⚙️ 训练与实验
训练成本极低
- 单张 RTX 3090，5 小时内训完一个任务
- 50 条示范即够
- 完全基于模仿学习，不需要强化学习的奖励设计
实验任务
ACT + ALOHA 在 7 个高难度双臂任务上验证：打开杯盖、插槽电池、撕胶带、推方块、拉拉链、穿扎带等。
关键结果
- ACT 成功率 80%-90%+，显著超越基线（简单 LSTM 回归、普通 Transformer 等，后两者在很多任务上几乎为 0）
- 动作分块单独贡献巨大：消融实验显示，仅去掉 chunk（k=1）性能暴跌；chunk 越大越稳
- CVAE 同样关键：去掉 CVAE（纯回归）在多模态任务上明显变差，证明处理多模态的必要性
- 闭环 vs 开环：ACT 是闭环策略（持续用新观测），即使中途被打断也能恢复，鲁棒性强
⚔️ ACT 与其他模仿学习路线对比
| 维度 | 行为克隆（BC） | DAgger | ACT | Diffusion Policy |
|---|---|---|---|---|
| 抗复合误差 | 弱 | 强（需在线纠偏） | 强（chunk） | 中（chunk + 扩散） |
| 处理多模态 | 弱 | 弱 | 强（CVAE） | 强（扩散采样） |
| 数据需求 | 少 | 多（需交互） | 少（~50 条） | 少 |
| 训练成本 | 低 | 中 | 低（单卡 5h） | 中 |
| 是否需环境交互 | 否 | 是 | 否 | 否 |
ACT 的迷人之处在于：用最朴素的两个想法（分块 + CVAE）组合，就把双臂精细操作从"做不到"推到了"做得好"，且全流程离线、低成本、可复现。
📝 个人思考
第一，硬件开源正在重塑具身智能的研究生态。 在 ALOHA 之前，双臂遥操作是少数有钱实验室的专利，数据成了护城河。ALOHA 把门槛砸到 2 万美元 + 全开源，让全世界的研究者都能采自己的数据——这种"普惠"效应直接催生了后来 Mobile ALOHA、ALOHA 2、乃至 π0 等一大批发力。数据采集设备的平民化，是具身智能走向"数据驱动"时代的前提条件，正如 ImageNet 之于视觉。
第二，ACT 的设计哲学值得反复品味——“用算法结构的归纳偏置去解具体的病”。 复合误差用"分块"治，多模态用"CVAE"治，两个问题两个药方，对症下药，而不是用一个大模型蛮力硬学。这种问题驱动的极简设计，比堆参数更值得尊敬。动作分块后来成了 VLA 领域的事实标准（π0 的 50 步 chunk、Diffusion Policy 的 chunk 都源自此），CVAE 的"显式建模多模态"思想也贯穿了后续扩散/Flow Matching 动作头。
第三，从 ACT/ALOHA 到 VLA 的演进逻辑非常清晰。 ACT 的观测是"关节角 + 图像"，动作是"关节角序列"，完全在机器人本体空间里打转。而后续的 RT-2、π0 把"语言"引入观测、把"语义"引入决策，但底层"预测一段连续动作块"的范式几乎是原样继承自 ACT。可以说 ACT 解决了"动作怎么输出"这个工程地基，RT-2 解决了"动作怎么和语义对齐"这个语义地基——两者叠起来就是现代 VLA。
第四，对自动驾驶和规划的启发。 动作分块本质上就是"轨迹规划"——一次生成一段未来轨迹而非逐步决策。这与自动驾驶里的轨迹预测（生成未来 N 个 waypoint）异曲同工。ACT 的 CVAE 处理多模态的思路，也完全可以迁移到"多模态轨迹生成"上（Diffusion Planner、GoalFlow 等都在做这件事）。具身智能和自动驾驶在"动作生成"这一层是相通的，值得跨界借鉴。
🔗 延伸阅读
| 工作 | 团队 | 与 ACT/ALOHA 的关系 |
|---|---|---|
| Diffusion Policy | Columbia / TRI | 把 chunk 思想 + 扩散模型结合，处理多模态的另一条路 |
| Mobile ALOHA | Stanford | 在 ALOHA 基础上加移动底盘，实现全身协同操作 |
| π0 | Physical Intelligence | 继承 ACT 的 action chunking，用 Flow Matching 替代 CVAE 做动作头 |
| RT-2 | Google DeepMind | VLA 的语义层奠基，与 ACT 的动作层互补 |
| ALOHA 2 | Google DeepMind | ALOHA 的升级版，性能与舒适度提升，配合 VLA 数据集 |
| BC-Z / RT-1 | 多任务模仿学习代表，ACT 的同期对照 |
📖 这是论文精读系列的一篇。ACT + ALOHA 是理解现代 VLA 与具身智能数据范式的"第零步"。你觉得"低成本遥操作 + 分块策略"这套配方，能复制到自动驾驶的仿真数据生成上吗？欢迎留言。