最大熵强化学习（Maximum Entropy Reinforcement Learning）

1. 基本框架

1.1 标准 RL 目标

标准强化学习的目标是找到一条最优策略使得累积折扣奖励的期望最大化：

其中：

：状态空间
：动作空间
：折扣因子
：奖励函数

定义 1.1（值函数） 给定策略，状态值函数定义为从状态开始的期望累积奖励：

定义 1.2（动作值函数） 动作值函数（Q 函数）定义为在状态执行动作后的期望累积奖励：

两者满足递归关系（Bellman 方程）：

1.2 最大熵 RL 目标

最大熵强化学习在标准目标基础上加入熵正则化项：

其中是温度参数，是策略的负对数熵。

展开后的目标等价于：

1.3 熵正则化的物理意义

定理 1.1（熵正则化的效果） 在最大熵目标下，策略会同时优化奖励和行动多样性。对于任意两个都能获得高奖励的动作，最大熵目标会倾向于选择熵更高的策略分布。

证明：考虑最大化。使用拉格朗日乘子法，对每个状态的策略独立优化：

对求导并设为零：

解得：

这正是 Softmax 分布。温度参数控制了策略的”平滑”程度：

：策略趋近于确定性，选择奖励最高的动作
：策略趋近于均匀分布，完全探索

温度参数的作用：

值	策略行为	探索程度
	贪婪选择	几乎无探索
适中	softmax 分布	平衡探索与利用
	均匀分布	完全探索

2. 软策略迭代（Soft Policy Iteration）

2.1 软 Bellman 方程

定义 2.1（软 Q 函数） 在最大熵框架下，定义软 Q 函数为：

其中软值函数定义为：

最后一步假设动作空间是离散的（对于连续空间，用积分）。

定理 2.1（软值函数的等价形式） 软值函数可写成：

引理 2.1（软值函数与熵的关系） 软值函数满足：

其中。

证明：设，其中。则：

而：

对求关于的导数：

因此：

2.2 软策略迭代算法

算法 2.1（软策略迭代）

初始化：任意初始化 Q 函数
软策略评估：固定策略，更新

软策略提升：更新策略

重复步骤 2-3 直到收敛

2.3 收敛性证明

定理 2.2（软策略迭代的收敛性） 软策略迭代收敛到唯一的最优软 Q 函数，对应的策略满足。

证明（Sketch）：

分两步证明。

步骤 1：软策略评估保持在当前策略下的不动点性质

设当前策略为，定义算子：

类似标准 RL 的证明，可以验证是一个 -收缩算子。重复应用最终收敛到唯一的不动点。

步骤 2：软策略提升保证策略改进

设，新策略。需要证明。

考虑的展开，利用之前建立的等式关系可以完成证明。

3. Soft Actor-Critic（SAC）

3.1 算法框架

SAC（Soft Actor-Critic）是基于最大熵框架的 Actor-Critic 算法，由 Haarnoja 等人于 2018 年提出。

算法 3.1（SAC 的目标函数）

SAC 的 Actor 目标函数为最小化以下 KL 散度：

展开得：

忽略常数，最小化该目标等价于最大化：

这正好对应最大熵目标中”奖励 + 熵”的形式。

3.2 双 Q 网络结构

SAC 使用两个独立的 Q 网络和来缓解 Q 值过估计问题：

目标网络的更新与标准 DDPG 类似：

3.3 自动温度调整

手动调节需要大量试错。SAC 提出了自动温度调整机制。

定理 3.1（自动温度调整目标） 目标是最小化熵正则化项的系数，同时约束期望熵不低于目标值：

实际的实现中，维护一个可学习的：

更新规则：

3.4 与 TD3/Twin Delayed DDPG 的对比

特性	SAC	TD3
探索机制	熵最大化（最大熵）	延迟更新 + 目标策略平滑
动作选择	随机策略	确定性策略 + 噪声
Q 值修正	最小值修正（双 Q）	延迟更新
超参数敏感度	对敏感	对噪声参数敏感
理论框架	最大熵 RL	标准 RL（策略梯度）

4. 最大熵策略梯度

4.1 软策略梯度推导

定理 4.1（软策略梯度定理） 最大熵框架下的策略梯度为：

或等价地写成：

推导：

从最大熵目标出发：

对参数的梯度：

第一项是标准策略梯度（REINFORCE）：

第二项处理项与的乘积，经过 algebra 操作可化为形式（忽略折扣因子与轨迹分布的细节差异）。合并后得到定理中的形式。

4.2 与标准策略梯度的关系

标准策略梯度（REINFORCE）：

最大熵策略梯度：

引理 4.1（关系）：令，则最大熵策略梯度退化为标准策略梯度。

引理 4.2（EMP/Expected MDP 梯度）：另一种相关的形式是”Expected MDP”梯度：

这与最大熵梯度在取特定值时等价。

5. 探索-利用权衡

5.1 探索作为熵最大化

定理 5.1（熵与探索的关系） 在最大熵目标中，正比于策略的累积熵。最大化该项等效于鼓励在所有时间步保持高行动多样性。

信息论解释：设的轨迹分布为。轨迹的熵为：

由于环境转移概率不受策略控制，最大化轨迹熵等价于最大化。

5.2 内在动机与最大熵的等价性

定义 5.1（内在动机） 内在动机（Intrinsic Motivation）通过额外的”好奇心”奖励来鼓励探索：

常见的 novelty 度量包括：

伪计数（Pseudo-count）
信息增益（Information Gain）
预测误差（Prediction Error）

定理 5.2（等价性） 存在某些内在奖励构造，使得最大熵 RL 与内在动机 RL 等价。

具体而言，若设计内在奖励（当前策略的负对数概率），则最大化等效于最大熵目标。

5.3 伪计数与信息增益的解释

定义 5.2（伪计数） 伪计数是对状态访问频率的估计。信息增益定义为：

其中是转移模型，是边际分布。

与熵的关系：最大化信息增益等价于最小化对未来不确定性的预期，这与最大熵目标中”保持高熵分布”的直觉相呼应。

6. 与其他方法的关系

6.1 最大熵 RL vs 熵正则化 DQN

方法	目标	策略
标准 DQN		确定性（-贪婪）
熵正则化 DQN		随机（softmax）

熵正则化 DQN 的 Q 更新规则变为：

这与软策略迭代的更新完全一致。

6.2 最大熵 IRL（信息论视角）

定义 6.1（最大熵 IRL） 给定专家演示，最大熵 IRL 的目标是推断奖励函数，使得：

其中配分函数。

信息论解释：这等价于在给定约束下，最大化分布的熵。

6.3 最大熵均衡

定义 6.2（最大熵均衡） 在博弈论中，最大熵均衡是在所有可能的均衡中熵最高的均衡：

这与最大熵 RL 有类似的正则化动机：在不确定性下选择最”均匀”的均衡策略。

7. 理论分析

7.1 策略优化收敛性

定理 7.1（最大熵策略优化的收敛性） 在最大熵框架下，使用软策略迭代或 SAC，策略序列收敛到唯一的最优策略。

关键引理（熵正则化的凸性） 软值函数对是 -光滑的（smooth），这保证了在连续动作空间中的收敛性。

7.2 温度参数的理论选择

定理 7.2（温度参数与最优策略的关系） 最优温度参数满足：

实践中，的选择取决于：

任务难度：复杂多模态任务需要更高的
折扣因子：高意味着长期回报更重要，需要相应调整
动作空间大小：动作空间越大，通常需要更大的来鼓励探索

7.3 与奖励重塑的关系

定义 7.1（奖励重塑） 奖励重塑（Reward Shaping）将原奖励转换为，其中是势函数：

定理 7.3（最大熵与奖励重塑的关系） 最大熵目标中的熵项可以视为一种特殊的”内在奖励重塑”：

这构成了一个无势函数的奖励重塑：不满足势函数的梯度条件，但它仍然保持了最优策略的不变性（在最大熵框架下）。

参考文献

Haarnoja, T., Zhou, A., Abbeel, P., & Levine, S. (2018). Soft Actor-Critic: Off-Policy Maximum Entropy Deep Reinforcement Learning with a Stochastic Actor. ICML.
Ziebart, B. D., Maas, A. L., Bagnell, J. A., & Dey, A. K. (2008). Maximum Entropy Inverse Reinforcement Learning. AAAI.
Mnih, V., et al. (2015). Human-level control through deep reinforcement learning. Nature.
Schulman, J., Levine, S., Abbeel, P., Jordan, M., & Moritz, P. (2015). Trust Region Policy Optimization. ICML.
Lillicrap, T. P., et al. (2015). Continuous control with deep reinforcement learning. ICLR.
Fujita, S., & Maeda, T. (2018). Clipped Action Policy Gradient. ICML.

Huajishe Notes

Explorer

7-最大熵RL