知识点拆解｜自动驾驶传感器与多模态融合基础

🎯 引言：为什么需要多传感器？

单一传感器总有其能力边界。摄像头在弱光下失效，激光雷达在雨雪天退化，毫米波雷达分辨率低。多传感器融合的核心逻辑是利用各传感器的互补特性，在时间和空间上进行对齐，输出比任何单一传感器都更准确、更鲁棒的环境感知结果。

本文侧重传感器物理层和融合策略层，与 BEV 感知方法（哪些网络结构做 BEV 变换）做区分。

📷 摄像头：视觉感知的核心

工作原理

摄像头通过CMOS/CCD 感光元件将光子转换为电子信号。关键参数：

• 分辨率：像素数量，决定细节能力
• 帧率：典型 30-60 fps，影响运动捕捉
• 动态范围：同时看到亮区和暗区的能力
• 快门类型：全局快门（无畸变）vs 滚动快门（有果冻效应）

自动驾驶摄像头部署

优劣势

优点：分辨率最高（8MP 以上）、色彩信息丰富、成本低（$50-200/个）。缺点：依赖环境光、缺乏深度信息（需双目或多目）、受天气影响大。

📡 激光雷达：3D 感知的黄金标准

工作原理

LiDAR（Light Detection And Ranging）通过发射激光束并测量反射时间（ToF, Time of Flight）计算距离。

线数与分辨率

激光雷达的"线数"指垂直方向的激光束数量：

• 16 线：4 条线/度（垂直分辨率），低成本，用于 L2
• 32 线：8 条线/度，中端
• 64 线：16 条线/度，高精度
• 128 线：32 条线/度，L4/L5 标配
• 固态式：无机械旋转，通过 OPA 或 MEMS 实现电子扫描

FMCW（调频连续波） 是下一代激光雷达的技术方向，可直接测量目标速度（类似雷达的多普勒效应），抗干扰能力强。

📻 毫米波雷达：全天候感知的最后防线

工作原理

工作频段为 77GHz（较旧的 24GHz 已逐步淘汰），通过发射连续调频波并分析回波的频率偏移来测量距离和速度。

优势与局限

优点：

• 全天候工作（雨、雾、雪、弱光不受影响）
• 直接测量径向速度
• 探测距离远（>250m）

缺点：

• 角度分辨率低（典型 1-3°，激光雷达 <0.1°）
• 无法区分高度（无俯仰角信息）
• 虚假检测（金属反射、栏杆等）

4D 毫米波雷达（增加俯仰角测量）是近年的重要进步，可提供 x-y-z-velocity 四维信息，分辨率接近低线束激光雷达。

🔊 超声波传感器：近距离的最后保障

核心特性

• 工作原理：40-60kHz 声波 ToF 测量
• 探测范围：0.2-5m（非常短）
• 优点：成本极低（$5-10/个），近距精度高
• 缺点：受风噪影响，响应慢

典型部署：前后保险杠各 4-6 个，用于自动泊车和近距离防碰撞。

🆚 四大传感器横评

结论：没有任何一种传感器可以独立完成 L4/L5 级感知。摄像头提供语义、激光雷达提供精确 3D 几何、毫米波雷达提供全天候 + 速度、超声波提供近距盲区覆盖。

⏱️ 时间同步：融合的第一道坎

时间戳对齐

不同传感器的采样时刻不同：

• 摄像头：30fps → 33ms 一帧（曝光时刻在帧中间）
• 激光雷达：10-20Hz → 50-100ms 一圈（点云中不同点时间不同）
• 毫米波雷达：20-50Hz → 20-50ms 一帧

同步策略

最佳实践：硬件同步（PPS 信号）保证所有传感器使用统一时间基准，再对激光雷达的每个点做运动补偿（去除旋转运动导致的畸变）。

📐 空间标定：让传感器"说同一种语言"

内参与外参

• 内参：传感器自身的固有参数（相机焦距/畸变、雷达视场角）
• 外参：传感器之间的坐标变换（旋转矩阵 R + 平移向量 t）

标定方法

外参标定需要找到两个传感器之间的齐次变换矩阵 T：

在线标定（Calibration-free / Auto-calibration）是量产的关键：车辆行驶中由于振动，外参会缓慢漂移，需要在线自动校正。

🧩 融合策略：前融合 vs 后融合 vs 特征融合

1. 后融合（Late Fusion）

各传感器独立做目标检测，输出目标列表后在目标层融合。

优点：架构解耦，各传感器独立开发。缺点：无法利用互补特征，关联错误导致性能下降。

2. 前融合（Early Fusion）

在原始数据层直接拼接多个传感器的数据。

优点：信息无损，网络可以学习最佳融合策略。缺点：数据格式差异大（图像密集 vs 点云稀疏），训练数据需求大。

3. 特征融合（Feature Fusion）

折中方案：各传感器各自提取特征，在特征层融合。

优点：灵活性高，不同传感器可用不同骨干网络。缺点：特征对齐复杂。

🗺️ BEV：统一空间的优势

为什么是 BEV？

BEV（Bird’s Eye View，鸟瞰图）是当前多传感器融合的标准中间表示。其核心优势：

1. 空间对齐：所有传感器在 BEV 网格中各就各位，天然解决多视角对齐问题
2. 规划友好：规划和控制模块也工作在 BEV 空间，无需坐标转换
3. 简明表示：去除垂直维度，降低复杂度

BEV 融合典型流程

# 概念性伪代码
def bev_fusion(cam_images, lidar_pcd, radar_data):
    # 1. 各传感器提取特征
    feat_cam = image_backbone(cam_images)   # 多视角 2D 特征
    feat_lidar = voxel_backbone(lidar_pcd)  # 3D Voxel 特征

    # 2. 投影到 BEV 空间
    bev_cam = perspective_to_bev(feat_cam)  # IPM / Cross-Attention
    bev_lidar = point_to_bev(feat_lidar)

    # 3. BEV 空间特征融合
    bev_fused = fusion_module(bev_cam, bev_lidar)

    # 4. 从 BEV 解码检测结果
    return detection_head(bev_fused)

💭 个人思考

多传感器融合是自动驾驶中最"接地气"也最复杂的系统工程问题。说几个关键观察：

1. 融合不等于堆料 — 增加传感器数量必然带来标定、同步、维护的复杂度。好的融合系统应该是"1+1>2"，而不是"3 个传感器勉强不犯错"
2. 后融合在量产中仍然主流 — 尽管学术界普遍推崇前/特征融合，但后融合的模块解耦特性使得它更易于工程维护和故障隔离
3. BEV 融合的最大收益不是精度而是简化 — 将所有感知放到统一空间，使下游预测、规划模块的工作量大幅降低

未来的方向是端到端统一融合：不再分传感器种类设计独立骨干网络，而是用一个统一的 Token 序列接入所有模态，让 Transformer 自动学习融合。Tesla 和 NVIDIA 已经在朝这个方向探索，效果值得期待。