知识点拆解｜多模态对齐与指令微调详解：从 VLM 到 VLA 的关键桥梁
多模态对齐是 VLA 的’关键桥梁’——它决定视觉信号能否被 LLM 正确理解。本文梳理从对比损失（CLIP）到 Q-Former（BLIP-2）到 MLP 投影（LLaVA）的对齐方案演进，以及 VLA 如何将对齐从’图像→文本’扩展到’图像→动作’，详解连续动作的 tokenization 策略。
多模态对齐是 VLA 的’关键桥梁’——它决定视觉信号能否被 LLM 正确理解。本文梳理从对比损失（CLIP）到 Q-Former（BLIP-2）到 MLP 投影（LLaVA）的对齐方案演进，以及 VLA 如何将对齐从’图像→文本’扩展到’图像→动作’，详解连续动作的 tokenization 策略。