🎯 一句话理解 CoT
CoT = 不让模型直接回答’怎么做’,而是先问它’为什么’,把推理过程写出来,再基于推理给出答案。
CoT(Chain-of-Thought,思维链)让大模型输出最终答案之前先生成中间推理步骤,大幅提升复杂推理任务的准确率,也让决策变得可解释、可调试。
🧩 CoT 基础
问题:为什么需要 CoT?
大模型直接回答复杂问题时易犯"直觉错误"——凭感觉乱说。CoT 让模型一步步推理:
三种基本方法
| 方法 | 做法 | 优点 | 缺点 |
|---|---|---|---|
| Few-shot CoT | prompt 中给推理示例 | 效果好 | 消耗 token,需设计示例 |
| Zero-shot CoT | 加"Let’s think step by step" | 无需数据 | 效果略差于 few-shot |
| Self-Consistency | 多次采样 + 多数投票 | 准确率最高(+15~30%) | 计算开销大 |
Zero-shot CoT 对 VLA 最实用——不需要任何标注就能激发推理能力。
🚗 DriveVLM 四阶段 CoT
DriveVLM(清华/上交+蔚来, 2024)首次系统性地把 CoT 引入驾驶,提出结构化四阶段推理:
设计动机
| 阶段 | 对应人类行为 | 作用 |
|---|---|---|
| 场景描述 | 观察 | 强制关注所有道路元素 |
| 关键物体 | 识别威胁 | 判断"什么最重要" |
| 自我推理 | 思考策略 | 因果推理+方案评估 |
| 规划 | 执行 | 输出最终决策 |
优势:可分解验证(每阶段单独评估)、错误可定位(规划错了→回溯哪个阶段错了)、模块化数据标注。
数据构建
使用 GPT-4V 离线生成初始 CoT 标注 → 人工审核修正 → 加入真实轨迹作为 ground truth。
🎲 Game-CoT:博弈论思维链
传统 CoT 只考虑自我车辆。WCog-VLA(2025)提出 Game-CoT——基于博弈论的多智能体推理:
| 维度 | 传统 CoT | Game-CoT |
|---|---|---|
| 视角 | 单智能体 | 多智能体博弈 |
| 推理 | 条件判断 | 策略交互 |
| 适用 | 常规场景 | 交互密集(汇流、抢道) |
| 计算 | 低 | 中~高 |
👁️ DCoT:视觉思维链
文本 CoT 难以精确表达视觉推理(如"如果不刹车未来会怎样")。DCoT 用生成的未来帧作为"视觉思考":
FuturesightDrive / VLA-World
| 维度 | 文本 CoT | DCoT |
|---|---|---|
| 形式 | 语言符号 | 未来视频/图像 |
| 信息密度 | 低 | 高 |
| 计算开销 | 低 | 极高(需视频生成) |
| 代表 | DriveVLM | FuturesightDrive, VLA-World |
📀 CoT 蒸馏:用强模型教弱模型
CoT 标注昂贵(一个场景 5-10 分钟)。用 GPT-4V 自动生成 CoT 数据是标准方案:
关键:Prompt 设计保证格式一致、质量控制确保 CoT 与轨迹自洽、保留多样性而非强行统一。
🔄 GRPO + CoT:AlphaDrive 两阶段训练
阶段一:SFT 热启动
用蒸馏 CoT 数据做监督微调,让模型学会基本的 CoT 格式和驾驶知识。
阶段二:GRPO 强化学习
对同一场景采样 G 个 CoT+轨迹,用驾驶 reward 做组内比较优化:
| 对比 | 纯 SFT | SFT+GRPO |
|---|---|---|
| 决策质量 | 中(模仿平均) | 高(优化 reward) |
| 安全性 | 继承数据 | 可显式优化 |
| 长尾泛化 | 依赖覆盖 | 更好(RL 探索) |
为什么 GRPO 适配 CoT
- 每个场景可采样多条 CoT 路径,天然"组内相对"
- CoT 是 token 序列,可直接优化生成概率
- 驾驶 reward 可验证,适合 GRPO 模式
- KL 约束防止丢失 CoT 格式和通用知识
🔑 CoT 的可解释调试价值
这种可追溯的调试能力是传统端到端黑盒完全不具备的。
CoT 落地自动驾驶的工程挑战
| 挑战 | 描述 | 缓解方案 |
|---|---|---|
| 推理速度 | CoT 需生成多步文本,耗时增加 | 限制 CoT 长度、结构化模板、边缘部署优化 |
| CoT 与动作不一致 | CoT 说"应该刹车"但输出加速 | 增加一致性损失、reward 中加入一致性项 |
| CoT 质量不稳定 | 复杂场景下推理链出错 | Self-consistency 多数投票、降低 CoT 温度 |
| 多语言 CoT | 中文驾驶场景需中文推理 | 使用中文 LLM(Qwen)蒸馏 |
| 评估困难 | CoT 好坏难量化 | 人工评分 / GPT-4 评估 / 可分解验证 |
实务建议:先用 Zero-shot CoT 快速验证可行性,再用蒸馏数据做 SFT 提升一致性,最后用 GRPO 优化决策质量。不要一开始就追求完美的 CoT 数据标注。
CoT 方法全景
| 方法 | 计算 | 可解释性 | 决策质量 | 代表 |
|---|---|---|---|---|
| 直接决策 | 最低 | ❌ | 中 | 行为克隆 |
| 文本 CoT | 低~中 | ✅✅ | 中~高 | DriveVLM |
| 结构化 CoT | 中 | ✅✅✅ | 高 | DriveVLM-Dual |
| Game-CoT | 中~高 | ✅✅ | 高 | WCog-VLA |
| DCoT | 极高 | ✅✅ | 高 | VLA-World |
| CoT+RL | 高(训练) | ✅✅ | 最高 | AlphaDrive |
✅ 小结
- 基础 CoT:Few-shot / Zero-shot / Self-consistency,Zero-shot 对 VLA 最实用
- 驾驶 CoT:DriveVLM 四阶段(场景→预测→推理→规划)使推理可分解
- 高级 CoT:Game-CoT(博弈论)、DCoT(视觉 CoT)扩展推理维度
- CoT 蒸馏:GPT-4V 自动生成训练数据,降低标注成本
- GRPO+CoT:AlphaDrive 两阶段范式用 RL 优化推理链质量
- 核心价值:CoT 让驾驶决策变透明——可追溯、可调试、可定位
📖 知识点拆解系列第 14 篇。CoT 让 VLA 从"黑盒"走向"可解释",是自动驾驶安全落地的关键一环。