https://auto-driving-blog.vercel.app/tags/-vlm/ Recent content in 🧠 VLM on Elon's AD Insight Hugo zh-cn Sun, 19 Jul 2026 00:00:00 +0000 https://auto-driving-blog.vercel.app/posts/knowledge/%E5%A4%9A%E6%A8%A1%E6%80%81%E5%AF%B9%E9%BD%90%E4%B8%8E%E6%8C%87%E4%BB%A4%E5%BE%AE%E8%B0%83%E8%AF%A6%E8%A7%A3/ Sun, 19 Jul 2026 00:00:00 +0000 https://auto-driving-blog.vercel.app/posts/knowledge/%E5%A4%9A%E6%A8%A1%E6%80%81%E5%AF%B9%E9%BD%90%E4%B8%8E%E6%8C%87%E4%BB%A4%E5%BE%AE%E8%B0%83%E8%AF%A6%E8%A7%A3/ 多模态对齐是 VLA 的’关键桥梁’——它决定视觉信号能否被 LLM 正确理解。本文梳理从对比损失（CLIP）到 Q-Former（BLIP-2）到 MLP 投影（LLaVA）的对齐方案演进，以及 VLA 如何将对齐从’图像→文本’扩展到’图像→动作’，详解连续动作的 tokenization 策略。 https://auto-driving-blog.vercel.app/posts/paper-reading/drivevlm-w0%E4%B8%8Edrivewlm%E7%B3%BB%E5%88%97%E7%B2%BE%E8%AF%BB/ Sun, 19 Jul 2026 00:00:00 +0000 https://auto-driving-blog.vercel.app/posts/paper-reading/drivevlm-w0%E4%B8%8Edrivewlm%E7%B3%BB%E5%88%97%E7%B2%BE%E8%AF%BB/ DriveVLM 家族从语言 CoT 演进到世界模型统一建模范式，攻克了 VLM 上车面临的监督稀疏、世界与动作割裂、探索不安全三道坎。DrivingGPT 用 VQ-VAE 把图像与动作离散化为统一词表，将驾驶建模为 next-token 预测。DriveVLM-RL 借鉴神经科学双通路机制，用离线 RL 为驾驶安全兜底。 https://auto-driving-blog.vercel.app/posts/paper-reading/one-vl%E7%B2%BE%E8%AF%BB/ Sun, 19 Jul 2026 00:00:00 +0000 https://auto-driving-blog.vercel.app/posts/paper-reading/one-vl%E7%B2%BE%E8%AF%BB/ 小米 OneVL 用双模态隐式推理超越显式 CoT，攻克了隐式推理长期打不过显式 CoT 的困境。它将 55 个紧致隐 token（35 视觉+20 语言）作为信息瓶颈，用语言解码器还原语义 CoT、视觉世界模型解码器预测未来帧，双管齐下将隐空间钉死在因果关系上。推理时所有隐 token 一步 prefill，延迟与直接出答案持平，4B 模型在四大基准全 SOTA。 https://auto-driving-blog.vercel.app/posts/paper-reading/senna-vlm%E8%BE%85%E5%8A%A9%E9%A9%BE%E9%A9%B6%E7%B2%BE%E8%AF%BB/ Sun, 19 Jul 2026 00:00:00 +0000 https://auto-driving-blog.vercel.app/posts/paper-reading/senna-vlm%E8%BE%85%E5%8A%A9%E9%A9%BE%E9%A9%B6%E7%B2%BE%E8%AF%BB/ Senna 将大型视觉语言模型（Senna-VLM）与端到端规划器（Senna-E2E）解耦协同，VLM 用自然语言输出高层决策，E2E 在该决策条件下生成精确轨迹。它巧妙绕开了 LVLM 不擅长数值预测的软肋，让 VLM 干’说人话做决策’、E2E 干’算轨迹画路点’。这条 VLM 辅助端到端驾驶的路线成为后续多个工作的设计原型。