一句话理解多智能体交互决策

多智能体交互决策 = 让自车在"别人怎么想"和"别人觉得我怎么想"的无限递归中，找到一个能安全高效通过的共同行动方案

传统方法：把其他车当作"会动的障碍物"→ 预测他们的轨迹 → 自车根据预测做规划

博弈论方法：自车和其他车是"相互影响、相互推测意图"的智能体 → 共同决定交通场景的演化

“交互决策"这个名字本身就已经说明了核心差异——不是单方面预测然后规划，而是多车之间行动选择的相互依赖。你加速对方就会减速，你让行对方就会通过，这是一个双向甚至多向的动态博弈过程。

为什么交互决策是自动驾驶的"硬骨头”

如果你只看自动驾驶领域的研究论文，可能觉得规划决策问题已经解决得差不多了——感知精度越来越高，预测模型越来越准，轨迹规划越来越平滑。但一旦真正部署到路上，最让人头疼的问题往往不是"我能不能清楚地看到那辆车"，而是"那辆车到底想干什么，我又该怎么回应"。

交互决策的三个核心难点

难点一：部分可观测性与意图不确定性。你永远无法直接"读取"其他驾驶员的内心。对方的驾驶风格是激进还是保守？他注意到你的车了吗？他打算加速抢行还是减速让行？这些都是隐藏的意图变量，只能通过观察对方的运动状态（位置、速度、加速度、转向灯）来反推。更麻烦的是，你的行为本身也会影响对方的意图——你加速了对方可能会减速，这就形成了闭环。

难点二：联合动作空间爆炸。在单个智能体的规划问题中，动作空间是连续的（加速度、方向盘转角）。但在多智能体交互中，每个智能体的动作选择都会影响其他智能体的收益，联合动作空间随智能体数量呈指数级增长。在繁忙的城市交叉口，自车可能与周围5-8辆车同时交互，搜索最优联合策略的计算量远超实时约束。

难点三：计算实时性要求。L4自动驾驶的决策周期通常要求100ms以内。在这个时间窗口内，不仅要完成对其他交通参与者的意图推理，还要找到自车的最优响应策略，同时保证安全性和舒适性。博弈论中的经典算法（如求解完全信息博弈的Lemke-Howson算法）在毫秒级约束下根本无法运行。

这三难组合在一起，使得交互决策成为自动驾驶从L2+迈向L4过程中最难攻克的"硬骨头"之一。下面我们先建立博弈论的基础语言，然后再看业界如何把这个理论工具变成可落地的工程方案。

博弈论基础：自动驾驶交互决策的理论语言

博弈论研究的是"多个决策主体之间的策略互动"。它天然适合描述交通场景中的多车交互。我们先建立几个核心概念。

博弈的五要素

一个完整的博弈由以下五个要素定义：

  • 玩家 (Players)：场景中的决策主体，通常包括自车(Ego Vehicle)和周边车辆(Surrounding Vehicles)
  • 动作 (Actions)：每个玩家可以采取的行动，如{加速, 减速, 车道保持, 向左变道, 向右变道}
  • 收益 (Payoffs)：每个玩家在不同行动组合下获得的"分数"，通常建模为安全性、效率、舒适性的加权组合
  • 信息结构 (Information Structure)：每个玩家知道什么——是完全知道所有人的收益函数，还是只知道自己的
  • 策略 (Strategy)：玩家根据观测信息选择行动的函数

以高速换道场景为例：Ego和Target（目标车道后车）是两个玩家。Ego的动作是{换道, 保持}，Target的动作是{让行, 加速拒绝}。收益函数中，碰撞对应极低分数，顺利通行对应较高分数，减速避让有轻微惩罚。

纳什均衡：交互决策的"不动点"

纳什均衡是博弈论最核心的概念：在纳什均衡状态下，没有任何一个玩家可以通过单方面改变自己的策略来获得更高的收益。换句话说，给定其他人的策略，每个人的策略都是对自己最优的。

用数学语言描述：策略组合 $s^* = (s_1^, s_2^, …, s_n^*)$ 是一个纳什均衡，当且仅当对于每个玩家 $i$：

$$ u_i(s_i^*, s_{-i}^*) \geq u_i(s_i, s_{-i}^*), \quad \forall s_i \in S_i $$

其中 $s_{-i}^*$ 表示除玩家 $i$ 之外所有其他玩家的策略，$u_i$ 是玩家 $i$ 的收益函数。

在换道场景中，纳什均衡意味着：给定Target的策略（比如"如果你打灯我就让行"），Ego的最优反应是（比如"打灯然后换道"）；反过来，给定Ego的策略，Target的最优反应也是"让行"。双方都没有动机单方面改变行为。

为什么纳什均衡有用？ 因为它提供了一个"预测点"——如果所有玩家都是理性的，交互应该收敛到某个纳什均衡状态。但这在自动驾驶中面临两个问题：

  1. 多重均衡：一个博弈可能有多个纳什均衡，哪个才是真正的解？高速场景中"Ego加速、Target让行"和"Ego等待、Target通过"可能都是均衡。
  2. 均衡选择：自车需要引导交互收敛到对自己有利的均衡——这就从"预测"变成了"博弈"。

Stackelberg博弈：领导者-追随者模型

纳什均衡假设所有玩家同时决策。但在很多交通场景中，存在明显的领导者-追随者关系。Stackelberg博弈正好捕捉这种不对称性。

在Stackelberg博弈中：

  • 领导者 (Leader) 先承诺一个策略
  • 追随者 (Follower) 观察到领导者的策略后，做出自己的最优反应
  • 领导者可以"预见"追随者的反应，从而选择能最大化自身收益的策略

数学上，如果自车是领导者，Target是追随者，那么自车选择的策略 $s_L^*$ 满足：

$$ s_L^* = \arg\max_{s_L} u_L(s_L, s_F^*(s_L)) $$

其中 $s_F^*(s_L) = \arg\max_{s_F} u_F(s_L, s_F)$ 是追随者的最优反应函数。

Stackelberg博弈在自动驾驶中非常实用。典型场景是：自车通过明显的行动（如缓慢向目标车道偏移）来"表态"，让对方理解自己的意图，从而引导交互走向自车期望的均衡。这对应了人类驾驶中的"宣誓主权"行为。

势博弈：有解析解的特殊形式

势博弈是一类特殊的博弈，其核心性质是：存在一个全局势函数(Potential Function) $\Phi$，使得每个玩家单方面改变策略而产生的收益变化，等于势函数的变化：

$$ u_i(s_i', s_{-i}) - u_i(s_i, s_{-i}) = \Phi(s_i', s_{-i}) - \Phi(s_i, s_{-i}) $$

势博弈之所以重要，是因为它具有两个优良性质：

  1. 纯策略纳什均衡一定存在——不需要混合策略
  2. 最优反应动态一定收敛到纳什均衡——可以通过迭代求解

在自动驾驶中，如果能将交互场景建模为势博弈（如某些特定形式的换道博弈和非保护左转博弈），就可以用高效的迭代算法来求解纳什均衡，而不需要穷举所有联合动作。这在计算实时性上有巨大优势。

不过势博弈的局限性也很明显：不是所有交互场景都能用势函数描述。当玩家的收益函数之间存在本质冲突（如零和博弈），势博弈的建模能力就会受限。

主流方法：从基于规划到基于学习

现在我们把博弈论的语言装到工程工具箱里。业界和学术界在过去十年里探索了三类主流方法，按"用多少机器学习"的维度排列。

基于规划的方法：IV-game

核心思想：用显式的博弈论模型来描述交互场景，然后求解纳什均衡或Stackelberg均衡作为决策输出。

IV-game (Interactive Vehicle Game) 是这类方法的代表性工作，由MIT团队在2018-2020年期间系统提出。其基本框架包含三个步骤：

步骤一：场景建模

在当前时刻，自车识别周围的交互智能体，构建一个局部交互博弈。博弈的玩家通常包括自车和1-3个最相关的车辆。每个玩家的动作空间经过离散化处理，例如：

$$ A_i = \{a_{hard\_brake}, a_{light\_brake}, a_{cruise}, a_{light\_accel}, a_{hard\_accel}\} $$

每个动作对应一个预定义的加速度值或速度剖面。离散化将连续动作空间缩小到可计算的规模。

步骤二：收益函数设计

每个智能体的收益函数是 $R_i = w_1 \cdot R_{safety} + w_2 \cdot R_{efficiency} + w_3 \cdot R_{comfort}$。

  • $R_{safety}$：碰撞惩罚，通常与最小距离、TTC(Time-to-Collision)等指标相关
  • $R_{efficiency}$：速度与期望速度的接近程度
  • $R_{comfort}$：加速度和加加速度的惩罚

关键在于，自车并不知道其他车辆的收益权重 $w_1, w_2, w_3$——这就是"意图不确定性"的来源。IV-game通过在线逆向推断来估计这些权重：观测对方的运动轨迹，反推什么样的收益函数能解释对方的行为。

步骤三：均衡求解

建立博弈模型后，用迭代最优反应(Iterative Best Response, IBR)算法求解纳什均衡。IBR的流程是：

  1. 为每个玩家随机初始化一个策略
  2. 在每一轮中，轮流更新每个玩家的策略，使其在当前其他玩家策略下最优
  3. 重复直到收敛

IBR在势博弈中保证收敛，但在一般博弈中不保证。实践中通常设置最大迭代次数（如5-10次），超时则使用当前最优解。

IV-game的优势和局限：

优势在于建模的可解释性和安全性保障——由于用显式的物理模型和收益函数，可以进行正式的安全验证。局限性同样明显：离散化动作空间限制了策略的精细度，收益函数的手工设计难以覆盖所有场景，而且当交互智能体超过3个时，求解速度急剧下降。

基于学习的方法：MADRL

核心思想：让多个智能体通过强化学习的试错过程，自主学会交互策略，而不需要显式建模对方的收益函数。

MADRL (Multi-Agent Deep Reinforcement Learning) 在自动驾驶中面临一个特有的挑战：非平稳性。在单智能体RL中，环境转移概率是固定的。但在多智能体环境中，每个智能体的策略都在变化，导致其他智能体面临的环境也在变化——这就破坏了RL收敛的理论基础。

主流的MADRL方法可以分为三类：

1. 集中式训练-分布式执行 (CTDE)

代表算法：QMIX、MADDPG。

训练时使用全局信息（所有智能体的状态和动作），但执行时每个智能体只用自己的局部观测做决策。MADDPG的核心是"中心化评论家-去中心化行动家"：

$$ \nabla_{\theta_i} J \approx \mathbb{E}_{s, a \sim D} \left[ \nabla_{\theta_i} \pi_i(o_i) \nabla_{a_i} Q_i^\pi(s, a_1, ..., a_n) \big|_{a_i = \pi_i(o_i)} \right] $$

其中 $Q_i^\pi(s, a_1, …, a_n)$ 是中心化评论家，以所有智能体的状态和动作作为输入，输出第 $i$ 个智能体的期望回报。$s$ 是全局状态，$o_i$ 是第 $i$ 个智能体的局部观测。

CTDE的优势在于训练时看到全局信息，可以学习复杂的协同策略；劣势在于推理时需要假设其他智能体的行为模式与训练时一致——如果部署时遇到分布外的交互行为，模型可能做出危险的决策。

2. 值分解方法 (Value Decomposition)

代表算法：VDN、QMIX。

这类方法将联合动作价值函数分解为各个智能体价值函数的组合（如求和或混合），从而缓解联合动作空间爆炸的问题。QMIX用混合网络结构，允许联合价值函数是个体价值函数的单调函数：

$$ \arg\max_a Q_{tot}(s, a) = \begin{pmatrix} \arg\max_{a_1} Q_1(s, a_1) \\ \vdots \\ \arg\max_{a_n} Q_n(s, a_n) \end{pmatrix} $$

这个单调性条件保证了"每个智能体选择个体最优动作，组合起来就是联合最优"。QMIX在SMAC（星际争霸多智能体环境）等离散动作场景中表现出色，但将其应用到连续动作的驾驶场景仍有挑战。

3. 通信学习方法

代表算法：CommNet、TarMAC。

智能体之间通过可学习的通信信道交换信息。例如，自车可以向周围车辆发送一个"意图向量"，同时接收对方的"意图向量"，作为决策的额外输入。

$$ h_i^{(t+1)} = f \left( \sum_{j \neq i} C(h_i^{(t)}, h_j^{(t)}) \cdot h_j^{(t)} \right) $$

其中 $C$ 是学习的注意力权重，$h_i^{(t)}$ 是智能体 $i$ 在第 $t$ 轮通信后的隐状态。

通信学习在仿真环境中效果很好，但在真实部署中面临一个根本问题：车与车之间没有低延迟的高速通用通信协议。V2X虽然正在推广，但要实现学习的通信协议在实际道路上部署还有很长的路。

基于模型的方法：Gameformer

核心思想：用Transformer架构替代手工设计的博弈模型，从海量驾驶数据中隐式学习交互策略。

Gameformer是Waymo在2023年提出的工作，代表了目前交互决策的前沿方向。它的核心设计包括：

1. 场景编码

将自车、周围车辆、道路元素的静态和动态信息编码为token序列。每个智能体的状态包括位置、速度、加速度、历史轨迹等。所有token通过注意力机制进行交互：

$$ \text{Attention}(Q, K, V) = \text{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right) V $$

2. 因果解码

Gameformer的关键创新在于"因果"解码。在推理时：

  • 自车的动作token被设置为"因果的"——即解码时只看历史信息，不看未来
  • 其他智能体的动作token在训练时用真实轨迹监督，在推理时用预测/隐式模拟

这个设计使得Gameformer在推理时天然是"自车先行动，其他人响应"的Stackelberg博弈模式。

3. 场景级评分

Gameformer不直接输出动作，而是先生成多个候选场景级别的交互假设，然后通过可学习的评分函数选择最优的一个。每个候选场景包含自车和所有周围车辆在未来若干时间步内的动作序列。

Gameformer的优势在于：（1）无需手工设计收益函数，直接从数据中学习交互模式；（2）Transformer的注意力机制天然处理变数量的智能体；（3）端到端训练，不需要分阶段的博弈建模和求解。

但Gameformer也有显著局限：（1）训练需要海量的、带有丰富交互模式的驾驶数据；（2）推理的"黑箱"性质使得安全验证困难；（3）在分布外场景（如罕见的交通冲突）中的行为不可预测。

方法对比总结

维度IV-gameMADRLGameformer
博弈模型显式建模隐式学习隐式学习
收益函数手工设计RL奖励数据驱动
可解释性高低低
数据需求低中高
实时推理中(10-50ms)高(<10ms)中(30-80ms)
分布外鲁棒性较高低中
安全性验证可行困难困难

典型场景分析

场景一：高速换道博弈

高速换道是交互决策最经典的研究场景。假设三车道高速公路上，自车(Ego)在中道，想要向左换到快车道。目标车道有一辆后车(Target)，距离自车约15-20米，相对速度约0-5km/h。

交互博弈的结构：

Ego的动作空间：{加速换道, 匀速换道, 等待} Target的动作空间：{加速不让, 保持, 减速让行}

收益函数主要取决于碰撞安全裕度、换道效率（能否在规定距离内完成）和舒适性。

典型均衡分析：

在大多数情况下，存在两个纳什均衡：

  • 均衡A：(Ego换道, Target减速让行) —— 协同均衡
  • 均衡B：(Ego等待, Target保持/加速通过) —— 保守均衡

从社会总收益（两人收益之和）来看，均衡A更优。但Ego如何确保交互收敛到均衡A而不是均衡B？

工程实践中的解法：业界常用的策略是"基于置信度的Stackelberg引导"。

  1. Ego首先通过信号（打转向灯）和轻微的车身偏向（向目标车道移动0.3-0.5米）来"宣誓意图"
  2. Ego观察Target的反应。如果Target在1-2秒内表现出减速迹象（减速>0.5m/s²），Ego以较高置信度推断Target选择"让行"
  3. Ego然后执行换道，同时保持安全底线——如果Target的反应与预期不符，Ego的"bailout plan"是放弃换道回到原车道

这个策略本质上是Stackelberg博弈：Ego作为领导者率先表态，Target作为追随者做出反应。

关键工程参数：Waymo和Cruise的经验表明，换道决策中TTC(Time-to-Collision)的阈值直接影响安全性和效率的平衡。TTC<3秒时换道风险较高，需要谨慎评估；TTC>6秒时换道通常可以从容进行。

场景二：无保护左转

无保护左转(Unprotected Left Turn)被普遍认为是自动驾驶中最难的交互场景之一。自车需要在没有左转专用灯的情况下，穿过对向直行车流完成左转。

博弈复杂性：

  • 玩家数量多：自车+对向直行多辆车+可能还有右侧的右转车辆
  • 意图高度不确定：对向车辆是"打算直行通过"还是"看到自车后减速让行"？
  • 时间压力：左转窗口短暂，等待时间越长，后续车辆越不耐烦

关键策略：渐进式侵入 (Progressive Intrusion)

工程实践中广泛使用的策略不是"一次决策"，而是"动态承诺"：

  1. 自车缓慢驶入交叉口（前轮越过停止线约2-3米），停在交叉口中部
  2. 这个位置使自车的意图非常明确——“我要左转”
  3. 自车持续观测对向车辆的车速变化，选择对向车流中的合适间隙
  4. 当间隙足够（通常需要至少5-6秒的间隔），自车加速完成左转
  5. 如果能完成左转的间隙始终不来，自车在红灯亮起前退回到停止线后

这个策略在博弈论中的对应是"主动承诺"(Costly Signaling) —— 自车通过占据交叉口中部这个不可逆的位置，向对向车辆传递了"我一定会左转"的承诺信号。对向车辆看到自车已经占据了交叉口，更倾向于减速让行而不是冒险加速。

工程经验数据：Waymo在旧金山和凤凰城的运营数据显示，无保护左转是接管请求率最高的场景之一。渐进式侵入策略可以将左转成功率从65-70%提升至85-90%，但代价是左转完成时间平均增加1.5-2秒。

场景三：环岛通行

环岛(In-Roundabout)具有天然的博弈结构：进入环岛的车辆需要等待环岛内的车辆通过，但何时才算"安全的间隙"取决于双方的速度和位置。

层次化博弈模型：

环岛场景的独特之处在于存在明确的通行规则——环岛内车辆优先。这使得环岛的交互可以建模为带约束的博弈：优先权规则定义了"谁先走"的基本顺序，但实际决策仍然需要微妙的交互。

工程实践：基于规则的博弈框架

业界在处理环岛时通常采用"规则+博弈"的混合策略：

  1. 第一层（规则层）：环岛内车辆有绝对优先权，这是不可协商的硬约束
  2. 第二层（博弈层）：在确定"可以进入"后，自车与环岛内车辆进行两两博弈——加速进入还是等待下一个间隙
  3. 第三层（执行层）：一旦决定进入，执行固定的速度剖面，避免犹豫

关键指标：环岛通行中使用的间隙接受(Gap Acceptance)模型核心参数是临界间隙(Critical Gap)：

  • 对于单个车道环岛，临界间隙通常为4-5秒
  • 对于双车道环岛，需要分别评估内外车道的临界间隙
  • 自车的速度也会影响临界间隙——速度越低，需要的间隙越小

工程落地：挑战与方向

计算实时性的工程优化

博弈论方法在工程落地中面临的首要问题是计算时间。针对这个问题，业界有几种有效的优化策略：

1. 分层决策架构

将交互决策分解为"战术层"和"动作层"。战术层在较长时间尺度（1-2秒）上做离散决策（如"换道/不换道"），使用精细的博弈模型。动作层在短时间尺度（100ms）上执行战术决策，使用简化的控制策略。这种分层设计将博弈求解的频率从10Hz降低到0.5-1Hz，大幅降低计算压力。

2. 博弈剪枝

并不是场景中每一辆车都需要纳入博弈模型。工程上通常只选择那些与自车存在交互风险的车辆（TTC<8秒或距离<50米）作为博弈玩家，其余车辆视为环境障碍物。这可以将典型的城市场景从5-8个候选玩家缩减到1-3个核心交互对象。

3. 求解器加速

对于基于优化的博弈求解器，常用的加速手段包括：使用KKT条件将双层优化转化为单层优化问题；利用博弈的势函数性质使用更快的迭代算法；使用GPU并行化多个博弈实例（例如同时评估换道到不同车道的多个假设）。

意图估计与在线学习

自车对其他车辆的意图估计是交互决策中最有挑战的环节。目前工程上的主流做法有三种：

1. 贝叶斯推断：维护一个关于其他车辆"类型"（激进/正常/保守）的概率分布，随着观测更新：

$$ P(type_i | history) \propto P(history | type_i) \cdot P(type_i) $$

2. 逆向强化学习(IRL)：假设其他车辆也在优化某个隐式的收益函数，通过观测行为推断其收益权重。这就是IV-game中使用的方案。

3. 在线适配：在行驶过程中持续收集交互数据，微调模型参数以适应不同地区的驾驶风格差异。例如，在波士顿和凤凰城部署的模型需要不同的交互策略参数，因为两地的驾驶风格差异显著。

安全保证与验证

博弈论方法的"可验证性"是其相对于纯学习方法的优势。

一种实用的安全验证框架是责任敏感安全模型(RSS, Responsibility-Sensitive Safety)，由Mobileye提出。RSS为交互决策定义了"不负责任的边界"——例如，如果自车拥有路权，那么即使发生碰撞，只要自车在RSS定义的安全范围内行动，责任就被划给对方。

在博弈决策中集成RSS的方法：自车首先计算博弈论策略，然后检查该策略是否违反了RSS的安全条件。如果违反，则用RSS安全策略替代博弈策略。这相当于一个"安全滤网"机制——博弈策略负责效率优化，RSS负责安全兜底。

关键论文与延伸阅读

  1. IV-game系列: D. Sadigh et al., “Planning for Autonomous Cars that Leverage Effects on Human Actions”, RSS 2016. — 交互决策基于规划方法的奠基性工作
  2. MADDPG: R. Lowe et al., “Multi-Agent Actor-Critic for Mixed Cooperative-Competitive Environments”, NeurIPS 2017. — CTDE在多智能体交互中的经典框架
  3. QMIX: P. Rashid et al., “QMIX: Monotonic Value Function Factorisation for Deep Multi-Agent Reinforcement Learning”, ICML 2018. — 值分解方法在MADRL中的代表作
  4. Gameformer: J. Ng et al., “GameFormer: Game-theoretic Reasoning for Motion Planning”, CoRL 2023. — 用Transformer隐式建模交互博弈的最新工作
  5. RSS: S. Shalev-Shwartz et al., “On a Formal Model of Safe and Scalable Self-driving Cars”, arXiv 2017. — 责任敏感安全模型，交互决策的安全兜底
  6. Stackelberg博弈在换道中的应用: H. Yu et al., “Stackelberg Game-based Decision Making for Autonomous Vehicles in Highway Merging”, IEEE T-ITS 2023. — Stackelberg博弈在换道/汇入场景的具体实践

理解交互决策的关键在于把握一个核心矛盾：理论上的博弈模型追求"最优解"，工程上的交互系统追求"够好的解+安全的底线"。L4落地的实践智慧不是算得更准，而是在100毫秒内找到那个"足够好"的行动，同时保持安全兜底机制的随时介入。