https://auto-driving-blog.vercel.app/tags/-ppo/ Recent content in ⚡ PPO on Elon's AD Insight https://auto-driving-blog.vercel.app/images/share.png https://auto-driving-blog.vercel.app/images/share.png Hugo zh-cn Sun, 19 Jul 2026 00:00:00 +0000 https://auto-driving-blog.vercel.app/posts/knowledge/ppo%E7%AE%97%E6%B3%95%E6%B7%B1%E5%BA%A6%E6%8B%86%E8%A7%A3/ Sun, 19 Jul 2026 00:00:00 +0000 https://auto-driving-blog.vercel.app/posts/knowledge/ppo%E7%AE%97%E6%B3%95%E6%B7%B1%E5%BA%A6%E6%8B%86%E8%A7%A3/ PPO 通过 clipped surrogate objective 和 GAE 实现稳定策略更新，是 RLHF 时代的核心算法。本文从 REINFORCE 出发，拆解 PPO 的每个关键组件，并对比 GRPO 的革新——去掉 critic，用组内相对优势替代。最后梳理 PPO/GRPO 在 VLA 驾驶模型（AlphaDrive、ReCogDrive、DriveVLA-W0）中的应用。