统一视角：从表示学习到预训练模型
本章作为整个表示学习与自监督学习系列的总纲，旨在帮助读者建立完整的知识地图，将之前分散的概念串联为统一框架。
1. 统一抽象框架
一切表示学习方法的本质，可以抽象为同一个数学形式：
其中：
- 输入
：原始数据，可以是文本、图像、音频或多模态混合 - 表示
：编码后的向量空间，是模型对数据内部结构的抽象 - 预训练目标
：驱动表示学习的损失函数，决定了 的几何结构 - 下游任务
：最终的应用目标，如分类、生成、检索等
1.1 四元组的约束关系
数据分布 P(x)
│
▼
┌─────────┐
│ Encoder │
│ f_θ │
└─────────┘
│
▼
表示空间 Z = f_θ(x)
│
▼
┌─────────────────┐
│ L(θ) 约束空间结构 │
└─────────────────┘
│
▼
可迁移的表示 z
│
▼
┌─────────────────┐
│ 下游任务适配 T │
└─────────────────┘
预训练的核心目标是：使学到的表示
2. 三条主线路的统一
自监督学习有三条主要范式，它们在数学上共享相似的动机：
2.1 概览
| 范式 | 核心思想 | 代表方法 | 目标函数类型 |
|---|---|---|---|
| Predictive | 根据部分预测整体 | BERT MaskMLM, MAE, GPT | 重建损失 |
| Reconstructive | 显式恢复被破坏的输入 | Denoising Autoencoder, DALLE | 去噪损失 |
| Contrastive | 拉近正例、推远负例 | SimCLR, CLIP, MoCo | 对比损失 |
2.2 Predictive Self-Supervised（预测式）
核心思想：给定部分信息，预测其余信息。
以 BERT 的 Masked Language Modeling 为例：
这本质上是条件建模：在给定上下文的条件下，预测被掩盖的 token。表示
2.3 Reconstructive Self-Supervised（重建式）
核心思想：学习一个去噪映射，将被破坏的输入恢复到原始状态。
其中
2.4 Contrastive Self-Supervised（对比式）
核心思想：在表示空间中，正样本对距离相近，负样本对距离疏远。
从互信息角度理解，对比学习最大化正样本对的互信息下界：
其中
3. 数学统一：目标函数的本质
3.1 最大似然、互信息与几何分离
三种目标函数在数学上可以统一理解：
最大似然视角：
学习表示等价于学习一个能量函数，低能量对应高似然。
互信息视角：
预测式学习最大化输入与表示之间的互信息；对比式学习最大化正样本对之间的互信息下界。
几何分离视角：
对比损失的 InfoNCE 下界可以写为：
这说明：正样本对的一致性和负样本对的几何分离是等价的约束。
3.2 条件建模的统一框架
令
- Predictive：
是未被遮罩的上下文， 是被遮罩的 token - Reconstructive：
是噪声输入 ， 是原始输入 - Contrastive：
是一个样本， 是其正样本（通过数据增强获得）
这三种范式的本质区别仅在于如何划分条件与目标。
4. 为什么表示学习可以跨模态泛化
4.1 数据结构的跨模态共性
NLP、CV、多模态任务共享一个核心假设：数据中存在可预测的内在结构。
- 文本：词序、语义依赖、语法结构
- 图像：空间相关性、物体部件、场景布局
- 多模态：跨模态对应关系（图像-描述对齐）
表示学习正是通过无监督地捕捉这些结构来生成可迁移的表示。
4.2 任务无关的表示 vs 任务相关的表示
| 维度 | 任务相关表示 | 任务无关（通用）表示 |
|---|---|---|
| 学习方式 | 监督学习 | 自监督学习 |
| 依赖标签 | 需要 | 不需要 |
| 迁移能力 | 弱 | 强 |
| 表征内容 | 任务特定模式 | 数据通用结构 |
预训练模型学习的正是任务无关的通用表示，这使其能够跨任务、跨模态迁移。
5. 大模型时代为何更依赖预训练
5.1 规模定律的启示
GPT-3、BERT、CLIP 等大模型的性能提升证明了一条关键规律：
模型性能随模型规模、数据规模、计算规模的增加而单调提升（规模定律）
自监督学习使得无需人工标签即可利用海量数据，这是监督学习无法企及的。
5.2 表示学习的滚雪球效应
海量无标签数据 ──► 自监督预训练 ──► 通用表示 z
│
▼
下游任务少量数据微调
│
▼
任务特定能力涌现
预训练得到的表示是通用初始化，下游任务只需少量数据即可获得优异性能。
5.3 从专用到通用的演进路径
| 时代 | 特征 | 典型模型 |
|---|---|---|
| 词向量时代 | 静态表示，浅层语义 | Word2Vec, GloVe |
| BERT 时代 | 上下文表示，深度双向上下文 | BERT, RoBERTa |
| 大模型时代 | 任务无关通用表示，多模态统一 | GPT-4, CLIP, LLaMA |
6. 向 LLM、VLM、Agent 的自然过渡
6.1 从表示学习到大语言模型（LLM）
| 阶段 | 技术 | 输入→表示→输出 |
|---|---|---|
| 表示学习 | Word2Vec, ELMo, BERT | 固定输入→学习表示→固定输出 |
| 生成式预训练 | GPT-2, GPT-3 | 固定输入→学习表示→序列输出 |
| 指令微调 | InstructGPT, ChatGPT | 指令+输入→学习表示→对话输出 |
| 推理增强 | CoT, Toolformer | 复杂推理→学习表示→结构化推理 |
核心转变：从”表示作为中间产物”到”生成作为学习目标”。
6.2 从表示学习到视觉-语言模型（VLM）
CLIP 是这一过渡的典型代表：
这将图像与文本的表示空间统一到同一个嵌入空间，实现了跨模态检索和零样本分类。
6.3 从表示学习到 Agent 预训练
Agent 预训练延续了相同的范式：
其中 observation 可以来自视觉、语言、传感器等多种模态。预训练的表示使 Agent 能够：
- 理解环境状态
- 规划动作序列
- 进行多轮交互
7. 工程工作流
7.1 完整预训练项目的模块组成
┌─────────────────────────────────────────────────────────────┐
│ 完整预训练项目 │
├─────────────┬─────────────┬─────────────┬─────────────────┤
│ 数据 │ 目标函数 │ 模型架构 │ 优化器 │
│ Data │ Objective │ Architecture │ Optimizer │
├─────────────┼─────────────┼─────────────┼─────────────────┤
│ 数据收集 │ 对比损失 │ Transformer│ AdamW / LAMB │
│ 数据清洗 │ 重建损失 │ MLP / CNN │ 学习率调度 │
│ 数据增强 │ 混合目标 │ 注意力机制 │ 梯度裁剪 │
│ 采样策略 │ 正则化项 │ 位置编码 │ 混合精度训练 │
├─────────────┴─────────────┴─────────────┴─────────────────┤
│ 评估模块 │
│ 表征质量评估 │ 下游任务迁移 │ 分布外泛化 │ 效率测试 │
└─────────────────────────────────────────────────────────────┘
7.2 各模块的协调机制
| 模块 | 核心问题 | 协调要点 |
|---|---|---|
| 数据 | 规模、质量、多样性 | 采样权重决定任务分布；清洗策略影响噪声容忍 |
| 目标函数 | 表征空间的归纳偏置 | 不同目标函数产生不同的几何结构 |
| 架构 | 表示容量与计算效率 | 深度决定抽象层次；宽度决定表示维度 |
| 优化器 | 收敛速度与泛化能力 | 学习率调度需匹配预训练阶段特点 |
| 评估 | 何时停止、如何选择 | 多维度评估避免单一指标陷阱 |
7.3 从预训练到微调的迁移链
┌─────────────────────────────────────────────────────────────┐
│ 预训练阶段 │
│ 自监督学习 + 超大规模数据 → 通用表示 z │
└─────────────────────────────────────────────────────────────┘
│
▼
┌─────────────────────────────────────────────────────────────┐
│ 下游适应阶段 │
│ ┌─────────────┐ ┌─────────────┐ ┌─────────────┐ │
│ │ 全量微调 │ │ LoRA/QLoRA │ │ Prompt Tuning│ │
│ │ 所有参数 │ │ 低秩适配 │ │ 软提示 │ │
│ └─────────────┘ └─────────────┘ └─────────────┘ │
└─────────────────────────────────────────────────────────────┘
│
▼
┌─────────────────────────────────────────────────────────────┐
│ 应用阶段 │
│ 部署 │ 推理优化 │ 持续学习 │ 安全对齐 │
└─────────────────────────────────────────────────────────────┘
迁移的关键：
- 预训练学到的表示捕获了数据的基础结构
- 微调阶段只需学习任务特定的决策边界
- 冻结预训练层（如 LoRA）可大幅降低计算成本，同时保留表示质量
8. 方法统一视角图
┌──────────────────────┐
│ 表示学习 │
│ Representation │
└──────────────────────┘
│
┌─────────────────────────┼─────────────────────────┐
│ │ │
▼ ▼ ▼
┌───────────────┐ ┌───────────────┐ ┌───────────────┐
│ 预测式 │ │ 重建式 │ │ 对比式 │
│ Predictive │ │Reconstructive │ │ Contrastive │
└───────────────┘ └───────────────┘ └───────────────┘
│ │ │
│ │ │
▼ ▼ ▼
┌───────────────┐ ┌───────────────┐ ┌───────────────┐
│ BERT / MAE │ │ DAE / GPT │ │SimCLR / CLIP │
└───────────────┘ └───────────────┘ └───────────────┘
│ │ │
└─────────────────────────┼─────────────────────────┘
│
▼
┌─────────────────────────┐
│ 统一目标：最大化 │
│ 互信息 / 最小化能量 │
└─────────────────────────┘
│
▼
┌─────────────────────────┐
│ 跨模态统一表示空间 │
│ Cross-modal Embedding │
└─────────────────────────┘
│
┌─────────────────────────┼─────────────────────────┐
│ │ │
▼ ▼ ▼
┌───────────────┐ ┌───────────────┐ ┌───────────────┐
│ LLM │ │ VLM │ │ Agent │
│ 语言大模型 │ │ 视觉-语言模型 │ │ 智能体 │
└───────────────┘ └───────────────┘ └───────────────┘
9. 学习路径建议：从表示学习到预训练模型
9.1 推荐学习路径
阶段一：基础概念（第1-3章）
│
├── 词向量基础：Word2Vec、GloVe
├── 表示学习核心： encoder-decoder、注意力机制
└── 损失函数本质：重建损失、对比损失
阶段二：自监督范式（第4-6章）
│
├── Predictive：BERT、GPT 的预训练目标
├── Reconstructive：MAE、Denoising AE
└── Contrastive：SimCLR、MoCo、CLIP
阶段三：跨模态统一（第7-8章）
│
├── 视觉-语言对齐：CLIP、ALIGN
├── 多模态大模型：Flamingo、LLaVA
└── 统一生成框架：ChatGPT、GPT-4V
阶段四：工程实践（项目实战）
│
├── 小规模预训练实验
├── 下游任务微调适配
└── 模型部署与优化
9.2 核心概念关联图
┌─────────────┐ ┌─────────────┐
│ 数据结构 │────►│ 表示学习 │
└─────────────┘ └─────────────┘
│ │
│ ▼
│ ┌─────────────┐
│ │ 迁移能力 │
│ └─────────────┘
│ │
┌─────────────┐ │
│ 无监督学习 │◄──────────┘
└─────────────┘
│
▼
┌─────────────┐ ┌─────────────┐
│ 目标函数 │────►│ 几何结构 │
└─────────────┘ └─────────────┘
│ │
▼ ▼
┌─────────────┐ ┌─────────────┐
│ 互信息下界 │────►│ 表征空间 │
└─────────────┘ └─────────────┘
9.3 关键 takeaways
-
统一抽象：无论是 NLP、CV 还是多模态，表示学习都可以用”输入→表示→目标→下游任务”四元组刻画
-
三条主线：Predictive、Reconstructive、Contrastive 本质上都是最大化互信息或最小化能量，只是在条件划分和数据增强策略上有所不同
-
规模定律：大模型时代依赖预训练的核心原因是自监督可以无代价利用海量数据
-
迁移范式：从词向量到 BERT、从 BERT 到 GPT、从 CLIP 到多模态大模型，是同一个范式的渐进扩展
-
工程闭环：完整的预训练项目需要数据、目标、架构、优化、评估五个模块的协调配合
10. 结语
表示学习与自监督学习的统一框架揭示了一个深刻的事实：智能的本质是对数据内部结构的发现与利用。无论是预测被遮罩的词、重建被噪声污染的图像，还是拉近正样本对、推远负样本对，都是对这一目标的近似。
当我们理解了这一点，便能看清从 Word2Vec 到 GPT-4、从 ResNet 到 CLIP、从监督学习到 Agent 预训练的演进脉络。这些模型并非凭空出现，而是同一个统一范式在不同数据模态、不同模型规模、不同应用场景下的自然延伸。
掌握这一统一视角，不仅有助于理解当前的大模型生态，更能为未来可能出现的新的学习方法提供分类和定位的框架。
本章为系列总结，建议读者在完成前面章节的学习后，以此作为知识整合的起点，构建属于自己的完整认知地图。