Transformer 深度学习演示

分词的精准程度直接影响下游模型效果。本模块用 BPE 与 WordPiece 两种算法实现从零构建分词器，并用可视化直观展示同一句子在字符级/BPE/WordPiece 三种切分方式下的差异。

三大范式（Encoder-Only / Decoder-Only / Encoder-Decoder）的数学差异一表对照，掩码类型、位置编码、嵌入缩放、输出层横向速查。新增现代 Decoder-Only 模型架构细分（GPT vs Llama vs Qwen vs DeepSeek-V3 vs GLM-5），包括 MLA/DSA/GQA 注意力机制分化与 MoE 对比。

掌握完整 Encoder-Decoder 架构。包含 PyTorch 从零实现、交互式架构图、所有层级的张量维度流动可视化、以及推理时的自回归解码 + KV-Cache 机制。这是理解其他范式的基础。

自回归语言模型——现代大模型的根基。因果掩码、自回归生成、权重绑定三大核心机制。支持三种解码策略对比（贪心/温度采样/Top-K），以及 KV-Cache 加速推理。

双向理解——MLM 掩码语言模型 + NSP 下一句预测。与 GPT 共享同样的 Transformer Block 结构，唯独注意力是完全双向的。与 GPT 对照学习，理解一个掩码方向差异如何造就完全不同的模型行为。

Transformer 是排列不变的——位置编码是模型理解顺序的唯一途径。四种方案并排：Sinusoidal / Learned / RoPE / ALiBi。重点剖析 RoPE 的外推能力（为什么现代 LLM 都用它）和 ALiBi 的线性偏置机制。

现代大模型的实际用件。MHA 的 KV-Cache 内存瓶颈如何被 MQA（共享一套 K/V）和 GQA（分组共享 K/V）解决；Flash Attention 如何通过分块计算和 IO 优化让注意力在长序列上不再爆炸。Llama / Mistral / Qwen 全在用。

补齐"模型如何学习"的关键一环。前向/反向双通道时间线动画，链式法则逐层展开，残差连接与 LayerNorm 的梯度稳定机制，梯度消失/爆发交互演示，参数更新下山动画。

初学者常混淆的三种归一化。BatchNorm 沿 batch 维度、LayerNorm 沿 feature 维度、RMSNorm 去掉均值的简化版。为什么 Transformer 用 LN？为什么 Llama 用 RMSNorm？一图看明白。

Transformer 跨模态的第一步——把图像切成 patch 当"视觉词"输入，同样的 Encoder 做图像分类。CNN 的归纳偏置 vs Transformer 的全局视野：小数据 CNN 胜，大数据 ViT 反超。

把所有 NLP 任务统一为 text→text 格式。翻译、分类、摘要、问答都用同一套 Encoder-Decoder。Span Corruption 预训练 + 哨兵 token 机制。三范式对照中补齐 Encoder-Decoder 的现代实践。

大模型架构专题（当前聚焦稀疏混合专家 MoE，后续纳入稠密模型）。稀疏激活的核心理念：将 FFN 替换为多个并行「专家」子网络，由路由器动态选择 Top-K 个参与计算。以 Mixtral 8×7B 为例深度解析：Router Gate 门控 → TopK 稀疏选择 → SwiGLU 专家内部结构 → 加权求和 → 负载均衡。总参数 46.7B 但每 token 仅激活 ~12.9B。

把小模型的「长期记忆」从推理主干中拆出来，做成独立可预训练、可独立扩容的参数化记忆模块。以 Pythia-410M + 6.9B 记忆为例：冻结 Backbone 推理，记忆模块离线用分布式 Faiss kNN 检索出的稀疏目标分布做 KL 蒸馏训练，推理时按任务权重 α 融合两者输出，17 基准平均分反超 12B 底座且总参数量少 39%。

预训练学通用知识，微调适配具体任务。BERT 四种下游头架构（分类/NER/句对/问答）可视化，GPT 的 Prompt-based 微调方法。重点覆盖 LoRA 参数高效微调——冻结原始权重、低秩增量更新的参数量对比动画。

训练优化的最后一公里。HuggingFace 原生调度器源码级模拟——Linear / Cosine / Cosine with Restarts / Polynomial / Constant 六种策略并排对比，以及不同 kwargs 参数组合的全景探索。

梯度下降的演进路线：SGD 震荡 → Momentum 惯性平滑 → Adam 自适应学习率 → AdamW 解耦权重衰减 → Muon 矩阵正交化更新。AdamW 是几乎所有现代 Transformer 训练的标准，Muon 通过 Newton-Schulz 迭代实现更优的矩阵参数更新。配合 learning_rate 模块形成完整的训练优化闭环。