https://auto-driving-blog.vercel.app/tags/-transformer/ Recent content in 🧠 Transformer on Elon's AD Insight Hugo zh-cn Sun, 19 Jul 2026 00:00:00 +0000 https://auto-driving-blog.vercel.app/posts/knowledge/vit%E4%B8%8E%E8%A7%86%E8%A7%89%E6%9E%B6%E6%9E%84%E8%BF%9B%E5%8C%96%E8%AF%A6%E8%A7%A3/ Sun, 19 Jul 2026 00:00:00 +0000 https://auto-driving-blog.vercel.app/posts/knowledge/vit%E4%B8%8E%E8%A7%86%E8%A7%89%E6%9E%B6%E6%9E%84%E8%BF%9B%E5%8C%96%E8%AF%A6%E8%A7%A3/ 从 ViT 到 ConvNeXt，视觉架构在 Transformer 与卷积之间完成了一个轮回。本文系统梳理 ViT 的核心机制（patch embedding、position encoding、class token），详解 DeiT、Swin、ConvNeXt 等关键演进，并分析多尺度特征金字塔与 VLA 视觉编码器的选型逻辑与缩放定律。 https://auto-driving-blog.vercel.app/posts/knowledge/transformer%E4%B8%8E%E6%B3%A8%E6%84%8F%E5%8A%9B%E6%9C%BA%E5%88%B6%E8%AF%A6%E8%A7%A3/ Sun, 19 Jul 2026 00:00:00 +0000 https://auto-driving-blog.vercel.app/posts/knowledge/transformer%E4%B8%8E%E6%B3%A8%E6%84%8F%E5%8A%9B%E6%9C%BA%E5%88%B6%E8%AF%A6%E8%A7%A3/ Transformer 凭借自注意力机制的长程依赖建模与并行计算能力，从 NLP 席卷至自动驾驶全栈。本文从缩放点积注意力的数学原理出发，系统梳理 Multi-Head Attention、ViT、BEVFormer 及 VLM 中 Causal Attention 的关键技术。为理解 Transformer 在自动驾驶感知与规划中的应用奠定理论基础。