信息论核心概念
前置知识假设：读者已掌握微积分（极限、凸函数）、概率论（随机变量、期望、概率分布）以及基本的高等代数（对数运算）。本文档目标是为强化学习和非完全信息博弈中的信息论应用建立扎实的数学基础。
一、基本定义与核心量
1.1 自信息（Self-Information）
定义：单一事件
直观理解：
- 事件发生的概率越小，其自信息越大——“稀有事件才是大新闻”。
- 若
（确定发生），则 ——不携带任何信息。 - 若
（抛硬币），则 bit。
对数底数约定：
| 底数 | 单位 | 应用场景 |
|---|---|---|
| bit（比特） | 信息论、编码理论 | |
| nat（奈特） | 数学、机器学习 | |
| Hart | 工程 |
本文优先使用
1.2 信息熵（Entropy）
定义：随机变量
直观理解：熵描述了”编码
熵的极值定理：
对于在有限字母表
上定义的随机变量 ，有： 等号成立当且仅当
服从均匀分布。
证明（利用 Jensen 不等式）：设
等号成立当且仅当所有
1.3 联合熵（Joint Entropy）
定义：两个随机变量
直观理解：描述同时描述
1.4 条件熵（Conditional Entropy）
定义：给定
全体条件熵的期望（对
直观理解：已知
二、核心恒等式：链式法则（Chain Rule）
2.1 熵的链式法则
定理（熵的链式法则）：
对于任意两个随机变量
和 ： 或等价地：
推导：
从联合概率的定义出发：
取负对数：
对
物理直觉：同时描述
推广（多元链式法则）：
对
三、互信息（Mutual Information）
3.1 定义与直观理解
定义：两个随机变量
互信息的对称性：
与熵的关系（三种等价表达）：
-
从熵角度：
-
从联合熵角度：
-
几何角度：互信息是
与 的联合分布与边缘分布乘积之间的”距离”（非对称，非度量）。
直观理解：互信息
3.2 互信息与条件独立
定理：
（即 ）当且仅当 。 其中条件互信息
。
这是理解 D-分离准则的数学基础：在贝叶斯网络中，条件独立的精确含义是条件互信息为零。
四、KL 散度（Kullback-Leibler Divergence）
4.1 定义
定义（KL 散度 / 相对熵）：给定两个概率分布
重要性质：
- 非负性：
，当且仅当 时取等号。 - 非对称性：
（一般不等），因此 KL 散度不是严格意义上的”距离”（metric）。 - 链式法则：
（注：此为代数恒等式，非 KL 散度的链式法则）
4.2 KL 散度非负性的严格证明（利用 Jensen 不等式）
定理（KL 散度非负性）：对于任意两个概率分布
证明：
考虑函数
对任意
由 Jensen 不等式（对于凸函数
当
Jensen 不等式在此的角色：它将加权的凸函数值与凸函数作用在加权和上关联起来。具体地，
，从而得到非负性。这是信息论中最重要的不等式之一，也是 EM 算法推导的理论基石。
4.3 交叉熵、熵与 KL 散度的关系
三者关系恒等式：
其中 交叉熵（Cross Entropy） 定义为：
推导：
三者的几何关系：
H(P, Q) (Cross Entropy)
┌────────────────────────────┐
│ │
│ D_KL(P||Q) │
│ ┌───────┐ │
│ │ H(P) │ │
│ └───────┘ │
└────────────────────────────┘
在机器学习中的实际应用：
- 当
为真实数据分布（固定）， 为模型预测分布（可学习参数 ）时， 第一项 为常数，与参数无关。因此最小化交叉熵等价于最小化 KL 散度（即最小化模型分布与真实分布的差距）。
五、算法直觉与应用
5.1 KL 散度在强化学习策略迭代中的作用
在 PPO（Proximal Policy Optimization） 和 TRPO（Trust Region Policy Optimization） 等策略优化算法中，KL 散度被用作策略更新的约束。
为什么需要约束？
无约束的策略梯度更新可能导致策略在单次迭代中变化过大，使得策略从”好”区域跳到”差”区域，导致训练不稳定甚至崩溃（尤其在 on-policy 场景下，一次崩溃可能使数据失效）。
KL 约束的具体形式：
TRPO 的优化目标：
PPO 的等效形式（使用自适应 KL 惩罚）：
数学直觉：
度量了”新策略相对于旧策略的差异”； - 约束它小于
，确保新策略不会偏离旧策略太远； - 这本质上是在策略空间上进行局部线性近似，保证每次更新都在”信任域”内。
注意：KL 散度是非对称的。在策略迭代中，通常使用
（新策略在前）作为 TRPO 官方标准约束：前者衡量的是”从新策略视角看旧策略的差异”，而后者（ ）在极端情况下可能给出误导性的结果（比如新策略在某个区域给零概率，会导致 ）。
5.2 互信息与特征选择、信息瓶颈
5.2.1 特征选择
在特征工程中，我们希望选择与目标变量
： 与 完全独立，不含关于 的任何信息； 越大： 包含越多关于 的信息。
条件互信息特征选择：给定候选特征集
5.2.2 信息瓶颈（Information Bottleneck, IB）
IB 框架（Tishby, Pereira, Bialek, 1999）提出：学习表示（representation）的目标是最小化输入
优化目标：
其中
深度学习中的 IB：
- 自编码器（AE）的重建项
本质上是 的代理； - 对比学习（Contrastive Learning）通过 InfoNCE 等目标最大化
； - 瓶颈层（bottleneck layer）正是物理意义上的信息瓶颈。
5.3 熵在非完全信息博弈中的应用
5.3.1 策略的混合程度
在非完全信息博弈（如扑克、桥牌）中，混合策略（mixed strategy）通过概率分布对多个纯策略进行加权。熵度量了一个混合策略的”不可预测程度”：
直觉：
- 若玩家使用纯策略（deterministic），
——对手可以完美预测你的行动； - 若玩家均匀随机（uniform），
——行动完全不可预测。
在 CFR（Counterfactual Regret Minimization）中的应用：
CFR 算法中，每轮迭代的策略更新涉及**反事实后悔值（Counterfactual Regret）**的计算：
设累积正后悔
其中
- 收敛时，策略趋近纳什均衡（在零和博弈中对应低熵的确定策略）；
- 若熵在迭代中持续下降，说明策略正在稳定；若熵震荡，说明算法未收敛。
5.3.2 熵正则化（Entropy Regularization）
在强化学习与博弈论中，熵正则化被广泛用于鼓励探索（exploration）：
其中
- 在 RL 中：高熵防止过早收敛到次优策略（避免 exploitation 过早）；
- 在博弈中：熵正则化防止策略被对手轻易 exploit——你的行动越不可预测，对手越难找到针对性的对策。
直觉：在博弈中，** exploitability**（被对手 best response 击败的程度）与策略熵负相关。最大熵均衡（Maximum Entropy Nash Equilibrium）是在所有均衡中最”保守”的一个，在信息安全要求高的场景（如网络安全、军事战略）中具有重要意义。
六、总结
核心公式速查
| 公式 | 名称 |
|---|---|
| 信息熵 | |
| 条件熵 | |
| 互信息 | |
| KL 散度 | |
| KL 与交叉熵的关系 | |
| 熵的链式法则 |
信息论的统一视角
┌──────────────┐
│ 联合熵 │
│ H(X, Y) │
└──────┬───────┘
│
┌────────────┼────────────┐
│ │ │
▼ ▼ ▼
┌──────────┐ ┌──────────┐ ┌──────────┐
│ H(X) │ │ H(Y) │ │I(X; Y) │
│ 边缘熵 │ │ 边缘熵 │ │ 互信息 │
└──────────┘ └──────────┘ └──────────┘
│ │ │
└────────────┼────────────┘
│
┌──────┴───────┐
│ 条件熵 │
│ H(X|Y), H(Y|X) │
└──────────────┘
理解这张图的关键：互信息
与后续内容的联系
- KL 散度 → ELBO 的推导 → VAE 的理论基础 → 扩散模型的变分推断框架
- 互信息 → InfoNCE → 对比学习 → CLIP 等多模态模型
- 熵 → 策略梯度中的熵正则化 → PPO/SAC → 探索-利用权衡
- 链式法则 → 信用分配（credit assignment）→ 反向传播的信息流视角