🎯 一句话理解 LLM
LLM = 用海量文本训练的超大 Transformer，通过预测下一个词学会’思考’，再通过指令微调学会’回答问题’。
LLM 是 VLA 的"大脑"——它负责融合视觉信息、进行推理、决定做什么。
🧬 Transformer Decoder：LLM 的统一架构
几乎全部现代 LLM 都基于 Decoder-only 架构。
因果注意力（Causal Attention）
每个 token 只能"看到"自己及之前的 token（attention mask 把未来的权重设为 -∞），保证自回归生成的正向性。
KV Cache：推理加速
生成时缓存先前 token 的 K 和 V 矩阵，只计算新 token 的 K 和 V：
| 方式 | 复杂度 | 耗時（1K tokens） |
|---|---|---|
| 无 KV Cache | O(n²) | ~500ms |
| 有 KV Cache | O(n) | ~5ms |
代价：70B 模型、32K 上下文，KV Cache 需 ~64GB 显存 → 需要 GQA 等优化。
🔧 关键技术组件
RoPE（Rotary Position Embedding）
通过旋转矩阵将位置信息编码到 attention 计算中：RoPE(q_i, i) · RoPE(k_j, j) = f(q_i, k_j, i-j)。优势：相对位置编码、外推能力强、零额外参数。
驾驶技巧：调整 RoPE 基频可改变模型对不同距离 token 的注意力敏感度，对长时序驾驶场景有价值。
SwiGLU 激活
SwiGLU = Swish × 门控线性单元。相比 ReLU 提供更丰富的非线性：
| 激活 | 参数量（d=4096） | 代表 |
|---|---|---|
| ReLU | 33M | GPT-3 |
| SwiGLU | 67M | Llama, Qwen, DeepSeek |
RMSNorm
LayerNorm 简化版：$\text{RMSNorm}(x) = \frac{x}{\sqrt{\frac{1}{n}\sum_i x_i^2 + \epsilon}} \cdot \gamma$
相比 LayerNorm（需要计算均值和方差两个统计量），RMSNorm 只计算 RMS，速度提升 5~10%，性能持平。几乎所有新 LLM 都使用 RMSNorm 替代 LayerNorm。
GQA（Grouped Query Attention）
MHA（每头独立 K/V）和 MQA（所有头共享 K/V）的折中方案：H 个 query 头分成 G 组（如 32 个头分 8 组），组内共享 K 和 V。KV Cache 降为 MHA 的 G/H，质量几乎无损。GQA 已是 Llama 2/3、Qwen-2.5、DeepSeek-V3 的标准配置。对 VLA 而言，GQA 在长驾驶视频序列推理时能显著降低显存占用。
⚡ MoE（Mixture of Experts）
MoE 通过稀疏激活大幅提升模型容量而不增加计算成本。
DeepSeek-V3 MoE 参数
| 指标 | 值 |
|---|---|
| 总参数 | 671B |
| 激活参数 | 37B |
| 专家数 | 256 |
| Top-K | 8 |
关键技术挑战
| 挑战 | 方案 |
|---|---|
| 负载不均衡 | 辅助损失 / 动态偏置 |
| 路由坍缩 | Z-loss 正则 |
| 通信开销 | 专家并行 + all-to-all 优化 |
MoE 在 VLA 中的优势
- 大容量 + 低推理成本（671B 参仅激活 37B，车端可行）
- 多专家天然分场景（城市/高速/泊车各专家负责）
- 可扩展性：增加专家数不影响单次推理速度
LingBot-VLA 2.0 基于 DeepSeek-V3 构建。
📈 Scaling Laws
Kaplan Law（OpenAI, 2020）
$\text{Loss} \propto N^{-0.076} \cdot D^{-0.095} \cdot C^{-0.050}$
- $N$ = 模型参数量，$D$ = 数据量，$C$ = 计算量
- 结论：增大模型比增大数据更有效（当时实验范围内）
- 局限：实验仅研究了 1~2 个数量级的范围
Chinchilla Law（DeepMind, 2022）
$\text{Optimal tokens} \approx 20 \times \text{parameters}$
颠覆性结论：大模型普遍训练不足。70B 模型应训练 1.4T tokens 而非 300B。这一发现直接影响后续所有 LLM 的训练策略——Llama 3 70B 训了 15T tokens（远超 Chinchilla 的建议），效果显著优于训练不足的 GPT-3。
涌现能力（Emergent Abilities）
Scaling 不仅降低 Loss，还在临界规模下涌现全新能力：
| 能力 | 涌现规模 | 说明 |
|---|---|---|
| 少样本学习 | ~10B+ | 给几个示例就能泛化 |
| 推理链 | ~50B+ | 能生成中间推理步骤 |
| 指令遵循 | ~50B+ | 理解并执行复杂指令 |
| 多语言泛化 | ~10B+ | 跨语言知识迁移 |
VLA 启示：更大的 LLM 不一定需要更多驾驶数据——通用推理能力可直接迁移到驾驶场景。这也是为什么 DriveVLM 用 72B 的 Qwen-VL 而不需要专门在驾驶数据上预训练 LLM。
🚗 VLA 中常用的 LLM 系列
Qwen-2.5（阿里巴巴）
最受欢迎的 VLA 基模型。DriveVLM、ReCogDrive 等使用。7B/14B/32B/72B，32K 上下文，RoPE+SwiGLU+GQA，中文能力强。
InternLM（上海 AI Lab）
中文场景优化。Senna-VLM 等驾驶 VLM 使用。版本：InternLM2（2024）、InternLM3（2025）。
Llama-3（Meta）
开源标杆。Llama 3.1 达 405B/128K 上下文。广泛用于 VLA 研究。
DeepSeek（深度求索）
MoE 路线旗帜。DeepSeek-V3（671B/37B active）+ R1（强化推理），推理能力极强。
⚡ 部署效率优化
| 技术 | 效果 | 说明 |
|---|---|---|
| FP8/INT4 量化 | 显存减半（70B: 140GB → 35GB） | 质量损失 <1% |
| 推测解码 | 3-5x 加速 | 小模型快速生成 + 大模型验证 |
| Flash Attention | 2-4x 加速 | 减少显存读写，fused kernel 优化 |
| Paged Attention | KV Cache 碎片减 95% | vLLM 核心优化，高效管理显存 |
| 连续批处理 | 吞吐 10-20x | 动态 batch，GPU 利用率最大化 |
| TensorRT-LLM | 2-5x 整体加速 | NVIDIA 推理引擎，含 kernel 融合 |
📊 LLM 在 VLA 中的角色总结
| 角色 | 具体功能 | 由什么能力支撑 |
|---|---|---|
| 视觉融合 | 处理视觉+文本 token | 长上下文注意力 |
| 场景推理 | 理解语义和因果关系 | 涌现推理能力 |
| 决策生成 | 输出动作 token / CoT | 自回归生成 |
| 多任务统一 | 感知+预测+规划 | 指令遵循 |
| 常识泛化 | 应对未见过的场景 | 预训练知识迁移 |
VLA 中 LLM 选型建议
| 场景 | 推荐 LLM | 理由 |
|---|---|---|
| 学术研究 | Qwen-2.5 7B | 轻量、开源、中文友好 |
| 产品级部署 | DeepSeek-V3 (MoE) | 大容量低推理成本 |
| 英文主导 | Llama-3 8B/70B | 社区生态最完善 |
| 多模态原生 | Gemini (闭源) | EMMA 已验证，但受限于闭源 |
⚠️ LLM 在驾驶场景的局限
- 幻觉（Hallucination）：推理出不存在的情况，驾驶场景下可能致命
- 延迟上限：即使量化后，首个 token 延迟仍难压到 100ms 以下
- 上下文长度与计算：长视频序列的 attention 计算量 O(n²) 难以实时
- OOD 泛化不足：训练数据中的驾驶场景有限，极端情况仍难保证性能
- 不确定性估计缺失：LLM 不擅长说"我不知道"，驾驶中这很危险
✅ 小结
- 架构：Decoder-only + 因果注意力 + RoPE + SwiGLU + RMSNorm + GQA，现代 LLM 标准配置
- MoE：DeepSeek-V3 式稀疏激活，671B/37B active，VLA 优选基模型
- 预训练：Next Token Prediction + Scaling Laws（Chinchilla: 20x tokens）指导计算分配
- 部署：FP8/INT4 量化 + 推测解码 + Flash Attention，让 LLM 上车成为可能
📖 知识点拆解系列第 12 篇。下一篇：多模态对齐与指令微调详解。