知识精讲｜视觉基础模型在自动驾驶中的应用

📌 概述

视觉基础模型（Visual Foundation Models）是指在大规模通用数据上预训练、可迁移至多种下游任务的视觉模型。这类模型的核心价值在于：它们学习了通用的视觉表示，即使没有目标域的标注数据，也能通过零样本或少样本方式完成特定任务。从 DINOv2 的自监督特征到 SAM 的可提示分割，从 Depth Anything 的单目深度估计到 CLIP 的视觉-语言对齐，这些模型正在以三种角色渗透进自动驾驶系统：冻结的特征提取器、知识蒸馏的教师模型、伪标签生成器。

在 VADv2、World4Drive、EMMA 等最新工作中，视觉基础模型已成为 PON（point-of-no-return）级别的架构组件。理解它们的能力边界与使用方式，是设计下一代自动驾驶感知系统的前提。

🎯 核心概念

视觉基础模型的三种使用范式

为什么自动驾驶需要基础模型

自动驾驶数据集（如 nuScenes、Waymo）虽然规模可观（百万级标注帧），但与互联网级数据（数十亿图文对）相比仍然很小。视觉基础模型在通用数据上学习到的鲁棒特征、几何先验和语义知识，可以有效弥补驾驶数据的不足，尤其在长尾场景（极端天气、罕见障碍物、未知道路结构）中表现突出。

🔧 技术详解

DINOv2：自监督视觉特征

DINOv2 是 Meta 推出的自监督视觉模型，它承袭了 DINO（ICCV 2021）的知识蒸馏框架，但做了三项关键改进：

1. 数据规模提升：构建了 LVD-142M 数据集（1.42 亿图像），经过精心去重和筛选，包含 ImageNet-22k、Instagram 数据等多个来源。
2. 训练稳定性改进：使用 KoLeo 正则化（均匀化 patch token 的特征分布）和 iBOT（masked image modeling）联合训练，避免模型坍塌。
3. 特征蒸馏：使用 ViT-g（1.1B 参数）作为教师，蒸馏出 ViT-S/B/L 等小模型，使小模型获得大模型的高级语义特征。

核心思想是通过自蒸馏让模型在同一图像的不同增强视图间保持特征一致。训练时，一个"学生"网络从局部裁剪视图学习，一个"教师"网络从全局视图生成目标——两者共享架构但教师参数通过 EMA 更新。

DINOv2 的关键特性：

1. Patch-level 特征对应：DINOv2 的 patch token 包含丰富的空间对应信息。即使在不同图像中，同一语义区域的 patch 特征相似度很高，可用于建立跨帧/跨视角的像素级对应。
2. 语义分割无需微调：仅使用 DINOv2 的 patch 特征 + k-NN 分类器即可在语义分割上超过许多监督方法。
3. 显式的视觉缩放定律：ViT-S（21M）→ ViT-B（86M）→ ViT-L（300M）→ ViT-g（1.1B），性能单调提升。

在自动驾驶中，DINOv2 常用于建立时序对应关系（如 NIFF 中的 flow 预测）。

SAM/SAM2：可提示分割

SAM（Segment Anything Model）引入了一种新的交互范式：根据任意提示（点、框、掩码、文本）输出分割结果。其架构包含三个部分：

• Image Encoder：MAE 预训练的 ViT-H，提取图像特征。
• Prompt Encoder：将点/框/文本编码为条件向量。
• Mask Decoder：轻量 Transformer，从图像特征 + 条件向量生成分割掩码。

SAM2 进一步扩展至视频域，引入了记忆机制和遮挡推理，支持在视频序列中持续跟踪目标掩码。

在自动驾驶中的应用：

• World4Drive：使用 SAM 自动生成道路、车辆、行人的语义分割伪标签，无需人工标注即可训练感知模型。
• 车道线/可行驶区域提取：通过点提示驱动 SAM，在自动驾驶数据上分割道路要素。
• 数据标注加速：SAM + 人工修正的工作流可将标注成本降低 90%。

Depth Anything / Metric3D：单目深度估计

Depth Anything 是基于 DINOv2 的 monocular depth estimation 模型。其核心思路：

1. 大规模弱监督训练：使用 62M 张无标注图像，利用相对深度估计（MiDaS）生成伪标签用于训练。
2. 强数据增强：通过 CutMix、颜色扰动等策略提升泛化性。
3. Metric3D：从 Depth Anything 进一步扩展，提出 metric scale 的深度估计，输出真实世界的米制深度。

在自动驾驶中的应用：

• VADv2：使用 Depth Anything 预测的深度图作为条件，生成 BEV 特征。
• World4Drive：将深度估计作为 world model 训练中场景重建的几何约束。
• Occupancy 预测：深度图可转换为 3D 占据网格，替代 LiDAR 提供的几何信息。

CLIP / SigLIP：视觉-语言对齐

CLIP（Contrastive Language-Image Pre-training）由 OpenAI 于 2021 年提出，通过对比学习让视觉和文本编码器共享语义空间。训练时，从 4 亿图文对中随机采样 batch，最大化配对的图文相似度，同时最小化非配对的相似度。SigLIP 是 Google 的改进版本，使用 sigmoid loss 替代 softmax-based 对比损失，在更小的 batch size 下取得更好效果，且训练更稳定。

CLIP 的视觉编码器通常是 ViT 架构（ViT-B/32, ViT-L/14 等），文本编码器是 Transformer。两者的输出经过 L2 归一化后计算余弦相似度。ViT-L/14 在 336px 输入分辨率下达到最高性能，这也是 DriveVLM 选用该配置的原因。

关键特性：

1. 零样本分类：在 ImageNet 上达到 76% top-1 准确率，无需任何训练数据。
2. 语义对齐特征：图像和文本被映射到同一语义空间，可直接计算相似度。
3. 细粒度理解：不仅知道"有辆车"，还能理解"一辆红色的 SUV 停在路边的树旁"。
4. 鲁棒性：CLIP 在分布偏移场景下（如素描、卡通）的准确率下降远小于标准 ImageNet 模型，这对自动驾驶中的域泛化有重要意义。

在自动驾驶中的应用：

• EMMA（Waymo）：使用 SigLIP ViT-L 作为视觉编码器，输出直接送入 LLM。SigLIP 的视觉-语言对齐特性使得 LLM 能够理解视觉场景中的语义关系。
• DriveVLM：使用 CLIP ViT-L/14 作为视觉 backbone，结合链式思维推理进行场景理解。
• DriveLM：使用 CLIP 特征构建视觉问答数据集，训练驾驶场景的视觉-语言理解。

📊 方法对比

基础模型能力矩阵

使用范式对比

冻结 backbone 是最轻量的使用方式——只需在基模型特征上接一个轻量 head 进行微调。例如在 DINOv2 的 patch 特征上加一个 2-3 层 MLP 即可完成语义分割任务，总参数量仅为 backbone 的 1-2%。教师蒸馏可以将大模型能力注入小模型，适合车载部署——比如用 Depth Anything 的深度预测作为教师，训练一个 MobileNet 大小的深度估计网络，在 Orin 上达到 30+ FPS。伪标签生成则适用于无标注场景，但需要精心设计筛选策略（如基于置信度阈值、时空一致性检查）以避免噪声传播。

视觉基础模型在数据瓶颈中的作用

自动驾驶标注的高成本一直是扩展瓶颈——标注一帧 3D 检测框约需 1 分钟（专业标注员），一个城市的全量标注成本可达千万元级别。视觉基础模型通过以下方式缓解这一问题：

1. 自动标签生成：SAM 分割 + 跟踪自动关联，生成像素级语义标注。
2. 弱监督/半监督训练：Depth Anything 使用大规模无标注数据进行弱监督预训练，降低对标注深度图的依赖。
3. 域自适应：在仿真数据上训练，使用基础模型特征在真实数据上进行域对齐（domain alignment），减少对真实标注的依赖。这在传感器配置变化（如换用不同型号的相机）时特别有用——基础模型提供的通用特征可作为域不变的表征空间。

🔗 与自动驾驶的关联

视觉基础模型正在重新定义 AD 感知的"起点"

在 CLIP 和 DINOv2 出现之前，自动驾驶感知的起点通常是 ImageNet 预训练的 ResNet 或 ViT——它们对驾驶场景的适应需要通过大规模标注数据的微调来实现。而 CLIP 和 DINOv2 已经具备了语义理解和通用特征表示能力，模型只需要"适配"而非从零"学习"。

多模型协作与融合范式成为新趋势

当前 VLA 和世界模型论文中，单个视觉编码器往往不够用。典型组合：

• DINOv2（特征对应）+ Depth Anything（几何结构）+ CLIP（语义理解）：三种基础模型各司其职，特征在 LLM 层面融合。
• SAM（分割伪标签）+ 感知模型（检测训练）：SAM 提供标注，学生模型学习并用于推理。
• CLIP（语义） + SAM（几何边界）：前者提供"这是什么"的语义理解，后者提供"边界在哪里"的精确定位，两者结合可以实现高质量的开放词汇语义分割。
• Depth Anything + DINOv2：Depth Anything 提供每个像素的绝对深度值，DINOv2 提供跨帧的密集对应关系，两者结合可以构建精确的时空 3D 点云，作为视觉 odometry 或 SLAM 的输入。

模型蒸馏与边缘部署

车载计算平台的算力远小于云端（Orin 约 275 TOPS，而 A100 约 312 TFLOPS FP16），视觉基础模型通常不能直接在车端部署。因此模型蒸馏（model distillation）成为关键——将大模型的知识迁移到小模型：

1. 特征蒸馏：小模型的特征与大模型的特征对齐（如 L2 损失或对比损失），让轻量网络学习到基础模型的表示能力。
2. 输出蒸馏：大模型的预测结果（分割图、深度图）作为小模型的训练目标。
3. 关系蒸馏：大模型中样本之间的关系（相似度矩阵）作为结构化的监督信号。

Depth Anything 本身就是一个蒸馏的成功案例——它在 MiDaS 教师模型的基础上，使用大规模无标注数据进行自蒸馏，最终得到的模型权重仅 24M（ViT-S），在移动端可以达到 30+ FPS。

基础模型的持续学习与适配

驾驶场景分布随时间变化（新城市、新季节、新传感器配置），基础模型需要具备持续学习能力。当前的主流策略是 LoRA（Low-Rank Adaptation）微调：在冻结 backbone 的基础上，插入少量可训练的低秩矩阵（参数量仅为 backbone 的 0.1%-1%），在目标域数据上快速适配。LoRA 的优势在于：多个任务的 adapter 可以共享同一个 backbone，部署时只需切换 adapter 权重即可实现多场景覆盖。

挑战：基础模型的域偏移

视觉基础模型在互联网数据上训练，与自动驾驶的分布存在显著差异（视角不同、对安全关键场景的响应未知）。例如 CLIP 在"翻倒的车辆"这类罕见路况上的表现明显下降，因为预训练数据中此类样本极少。如何评估和缓解域偏移是实际部署中的关键问题。

域偏移的具体表现包括：CLIP 在驾驶场景的夜间图像上分类准确率下降约 15-20%，SAM 在雨天场景中分割边界质量下降。缓解域偏移的主流策略包括：

1. 域微调（Domain Fine-tuning）：在驾驶数据集上对基础模型做轻量微调（如 LoRA），保持通用能力同时适应驾驶域。
2. 特征适配（Feature Adaptation）：训练一个轻量 adapter 来校正基础模型的特征分布，而非微调整个 backbone。
3. 集成策略（Ensemble）：同时使用多个基础模型（如 DINOv2 + CLIP），在语义空间融合特征，利用多样性弥补单个模型的域偏移。
4. 分布外检测（OOD Detection）：训练一个轻量级的域分类器，检测当前输入是否来自训练分布之外，若是则降级到安全兜底策略（如减速、靠边停车）。

基础模型选型原则

在自动驾驶系统中选择视觉基础模型时，需要权衡以下因素：

1. 推理速度 vs 精度：车载芯片的算力有限，ViT-g 等超大模型只能用于离线处理。对于在线推理，通常选择 ViT-B 级别的模型（如 CLIP ViT-B/16）配合 token 压缩策略。
2. 语义 vs 几何：CLIP 擅长语义理解但几何精度差；DINOv2 在两者间取得平衡；Depth Anything 专精于几何。根据任务需求选择合适的模型或组合。
3. 域泛化性：在跨场景（晴天→雨天、日间→夜间）迁移时，DINOv2 的域泛化性优于 CLIP，因为 DINOv2 的自监督训练不依赖图文对中的语义标注偏差。

未来展望：端到端训练中的基础模型

随着 VLA 模型的发展，视觉基础模型正在从"预训练后冻结"向"端到端可训练"转变。在 EMMA 等工作中，SigLIP 视觉编码器与 LLM 一同训练，使视觉特征能够适应驾驶决策任务。这一趋势对基础模型提出了新要求：不仅需要通用能力，还需要良好的可微调性和与 LLM 的兼容性。

同时，视觉基础模型的评估体系也需要更新——不能仅用分类或检测指标来衡量，传统的 ImageNet top-1 准确率或 COCO AP 不再足以衡量其在自动驾驶中的价值。VOC（Visual Odometry Correspondence）指标、驾驶场景下的零样本迁移能力和安全关键场景的鲁棒性等，正在成为更重要的评估维度。

📚 延伸阅读

• Caron et al., “Emerging Properties in Self-Supervised Vision Transformers”, ICCV 2021.（DINOv1，DINOv2 的前身）
• Oquab et al., “DINOv2: Learning Robust Visual Features without Supervision”, TMLR 2024.
• Kirillov et al., “Segment Anything”, ICCV 2023.
• Ravi et al., “SAM 2: Segment Anything in Images and Videos”, 2024.
• Yang et al., “Depth Anything: Unleashing the Power of Large-Scale Unlabeled Data”, CVPR 2024.
• Wei et al., “Metric3D: Towards Zero-shot Metric 3D Prediction from a Single Image”, ICCV 2023.
• Radford et al., “Learning Transferable Visual Models From Natural Language Supervision”, ICML 2021.
• Zhai et al., “Sigmoid Loss for Language Image Pre-Training”, ICCV 2023.
• Weng et al., “EMMA: End-to-End Multimodal Model for Autonomous Driving”, 2025.
• Li et al., “DriveLM: Driving with Graph Visual Question Answering”, ECCV 2024.
• He et al., “Masked Autoencoders Are Scalable Vision Learners”, CVPR 2022.（MAE 是许多 ViT-based 基础模型的骨干预训练方法）
• Hu et al., “World4Drive: Learning Real-world Autonomous Driving from World Model”, 2024.