知识点拆解｜大语言模型基础详解：Transformer、MoE 与 Scaling Law
LLM 是 VLA 的’大脑’，提供推理与常识能力。本文深入 Transformer decoder 架构（因果注意力、KV Cache、RoPE、SwiGLU、GQA）、MoE（DeepSeek-V3 风格）、Scaling Laws 以及 VLA 中常用的 LLM 系列（Qwen-2.5、InternLM、Llama-3）。
LLM 是 VLA 的’大脑’，提供推理与常识能力。本文深入 Transformer decoder 架构（因果注意力、KV Cache、RoPE、SwiGLU、GQA）、MoE（DeepSeek-V3 风格）、Scaling Laws 以及 VLA 中常用的 LLM 系列（Qwen-2.5、InternLM、Llama-3）。