论文精读|EMMA:Waymo的多模态端到端驾驶大模型
Waymo 的 EMMA 基于 Gemini 多模态大模型,把所有驾驶任务(感知、预测、规划)统一翻译成自然语言 VQA,用单一模型、一套语言空间端到端处理。它选择直接文本化坐标以最大化复用 Gemini 预训练的世界知识。代表了将 MLLM 作为驾驶系统’一等公民’的前沿探索。
Waymo 的 EMMA 基于 Gemini 多模态大模型,把所有驾驶任务(感知、预测、规划)统一翻译成自然语言 VQA,用单一模型、一套语言空间端到端处理。它选择直接文本化坐标以最大化复用 Gemini 预训练的世界知识。代表了将 MLLM 作为驾驶系统’一等公民’的前沿探索。