![[Pasted image 20260512212750.png]
1. 架构总览与图形化解构
【原理描述】输入流转与位置编码
在 Transformer 抛弃了 RNN/CNN 结构后，模型本身丧失了对序列顺序的感知能力。因此，输入张量在进入主体网络前，必须完成两步：Input Embedding（将离散 Token 映射为连续稠密向量）与 Positional Encoding（注入绝对与相对位置信息）。
【数学推导】Positional Encoding (PE)
Transformer 采用正余弦交替函数生成固定的位置编码，公式如下：
数学优越性：
- 有界性：正余弦函数将值域限制在 [-1, 1]，保证了位置向量与词嵌入相加时不会导致数值爆炸。
- 相对位置线性表达：借助三角函数和角公式
和 ，任意位置 的编码都可以表示为位置 编码的线性组合。这使得模型能够轻易学习到 Token 之间的相对距离。
【图形化表格】QKV 维度流转
设定序列长度为
| 张量/操作 | 数学表达 | 维度变化 | 物理意义 |
|---|---|---|---|
| 输入张量 | 包含了语义和位置信息的 Token 序列表示 | ||
| Query 权重 | 将输入投影到“寻址”空间的变换矩阵 | ||
| Key 权重 | 将输入投影到“被寻址”空间的变换矩阵 | ||
| Value 权重 | 将输入投影到“内容”空间的变换矩阵 | ||
| Query (Q) | 当前 Token 的“查询意图” | ||
| Key (K) | 序列中各 Token 的“身份标签/索引” | ||
| Value (V) | 序列中各 Token 的“实际内容特征” |
【图形化表格】Scaled Dot-Product Attention 步进模拟
| 步进 | 操作环节 | 数学推导 | 张量维度 | 数值/物理意义 |
|---|---|---|---|---|
| 1 | 计算点积评分 | 计算序列中每个 Token 对其他所有 Token 的原始相关性得分。 | ||
| 2 | 缩放 (Scale) | 关键！ 防止维度过大导致点积结果爆炸，使 Softmax 落入梯度饱和区（梯度消失）。 | ||
| 3 | 归一化 (Softmax) | 将得分转化为概率分布（每行和为1），明确当前 Token 应该分配多少注意力给其他 Token。 | ||
| 4 | 加权求和 | 根据注意力权重 |
2. 多头注意力机制 (Multi-Head Attention - 深度解剖)
【原理描述】维度拆解与拼接
Transformer 并没有使用单个巨大的 Attention 矩阵，而是将其拆分。假设
计算过程：
- 独立投影：每个头
都有自己独立的 矩阵，对输入进行降维投影。 - 并行计算：8个头同时执行 Scaled Dot-Product Attention，产生 8 个
的输出特征矩阵。 - 拼接还原：将这 8 个矩阵在最后一个维度上拼接（Concat），重新得到
的张量。 - 线性映射：最后通过一个全连接层
融合多头信息。
【数学推导】本质探究
为什么多头比单头好？
单头 Attention 容易将全部权重集中在某一个强相关的特征上。多头机制本质上是将
3. 三大 Attention 的本质区别与痛点（必答项）
3.1 Encoder Self-Attention (全局感知)
- 机制：Q, K, V 全部来源于 Encoder 前一层的输出。
- 本质：完全的无向图，每个 Token 都可以毫无限制地“看”到序列的前后所有 Token，借此消除长距离依赖问题，构建完美的全局上下文感知。
3.2 Masked Self-Attention (Decoder)
- Look-ahead Mask 形态：为了保证自回归生成的因果性（Causality），必须将矩阵的主对角线以上的元素遮蔽。
- Preventing Information Leakage：在训练阶段，我们是一次性输入整个目标序列进行并行计算的。通过在
的结果上加上 Mask 矩阵 ，经过 Softmax 时， 。这强行截断了当前词对未来词的注意力权重，完美模拟了推理阶段“只能看到已生成内容”的物理现实，防止了“答案泄露”。
3.3 Encoder-Decoder Cross-Attention（重难点）
-
原理：K 和 V 来自 Encoder 的最高层输出，而 Q 来源于 Decoder 中 Masked Self-Attention 层的输出。
-
直观逻辑（意图寻找语境）：在机器翻译中，Decoder 当前正在生成的词（隐含在 Q 中）代表当前的翻译意图 ；Encoder 提取的原句信息（封装在 K, V 中）代表全局语境。Q 拿着意图去遍历原句的标签 K，找到最匹配的部分后，提取出对应的真实内容 V 来指导下一个词的生成。
-
维度匹配： 假设 Encoder 输入序列长度为
（源语言长度），Decoder 当前序列长度为 （目标语言长度）。 -
注意力权重：
。（这 的矩阵完美地代表了 个目标词与 个源词的对齐关系矩阵）。 -
最终输出：
。完美对齐输出维度！
4. 残差、归一化与前馈网络（细节填补）
【数学推导】Add & Norm
Layer Normalization 公式：
其中
对比 BN：Batch Normalization 在 Batch 维度上做归一化，这对 NLP 中长度参差不齐的序列极为不友好（Pad 符会导致严重的统计噪声）。LN 在单个 Token 的特征维度上进行，不受序列长度和 Batch 维度的影响，极其稳定。
【原理描述】Residual Connection (残差连接)
- 公式：
。 - 机制：提供了恒等映射的高速公路。在深层网络中，梯度可以通过
这条路径无损地反向传播回底层，极大地缓解了梯度消失问题，使得训练极深（如百层以上）的大语言模型成为可能。
【工程细节】FFN (Position-wise Feed-Forward Networks) 设计
- 公式：
- 升降维逻辑：输入为
，首先通过 升维到 （即 2048），经过激活函数后，再通过 降维回 。 - 作用：Attention 层本质上只做特征的“线性加权混合”，缺乏非线性表达能力。FFN 的非线性激活函数（ReLU/GELU）和宽阔的中间层（
）充当了**“记忆网络”或“局部特征加工厂”**的作用，对 Attention 提取出的上下文信息进行深度的非线性变换。
5. 训练全流程、优化与工程实践
【原理描述】Teacher Forcing 与并行加速
如果像 RNN 那样等待前一个词生成再预测下一个词，训练速度将极其缓慢。Transformer 在 Decoder 端采用 Teacher Forcing：直接将 Ground Truth（真实标签序列）整体右移一位（Shifted Right），一次性输入 Decoder。借助 Mask 机制的遮挡，网络可以高度并行地在同一个 Batch 内计算整个序列的所有损失，效率得到了颠覆性提升。
【工程细节】Weight Sharing (权重共享)
在标准的 Transformer 中，Input Embedding 矩阵和最后 Softmax 前的 Linear 层通常共享同一个权重矩阵
动机：Embedding 是将离散 Token 编码到连续空间，最后的 Linear 是将连续空间解码回离散 Token 概率。两者是互逆过程，共享权重不仅可以大幅减少模型参数量（防止过拟合），还能迫使模型学习到具有高度语义一致性的向量空间。
【数学推导】Noam Scheduler 与 Warmup
由于 Transformer 的结构特性，初始阶段梯度极其不稳定。直接使用高学习率会导致模型崩溃。Noam 学习率调度策略结合了线性预热（Warmup）与衰减：
解析：在最初的
【优化细节】Label Smoothing
传统的 Hard Label（如
通常
【工程实践】软硬件极限与算力刚需
Transformer 的核心痛点在于 Scaled Dot-Product Attention 的计算复杂度是
- 物理极限：当上下文长度扩展到 128k 甚至百万级别时，
的矩阵乘加（MACs）和显存读写带宽（Memory Bandwidth）将压垮普通计算架构。 - GPU 算力支持：这正是为何大模型训练和推理需要具备庞大显存、超高显存带宽（如 HBM3）以及专门优化矩阵乘法的 Tensor Cores 的硬件。以 RTX 5070 等现代 GPU 为例，其微架构针对大规模并行矩阵运算进行了极致优化，支持 FP8/BF16 混合精度计算，这正是支撑 Transformer 从纸面走向工业神坛的底层算力引擎。
相关视频：常看常新