Huajishe Notes

8-最大熵强化学习

5 min read

最大熵强化学习（Maximum Entropy Reinforcement Learning）

1. 基本框架

1.1 标准 RL 目标

标准强化学习的目标是找到一条最优策略 使得累积折扣奖励的期望最大化：

1.2 最大熵 RL 目标

最大熵强化学习在标准目标基础上加入熵正则化项：

其中 是温度参数。

1.3 熵正则化的物理意义

定理 1.1（熵正则化的效果） 在最大熵目标下，策略会同时优化奖励和行动多样性。

解得：

这正是 Softmax 分布。温度参数 控制了策略的”平滑”程度：

  • ：策略趋近于确定性，选择奖励最高的动作
  • ：策略趋近于均匀分布，完全探索

2. 软策略迭代（Soft Policy Iteration）

2.1 软 Bellman 方程

定义 2.1（软 Q 函数） 在最大熵框架下，定义软 Q 函数为：

其中软值函数定义为：

2.2 软策略迭代算法

算法 2.1（软策略迭代）

  1. 初始化：任意初始化 Q 函数
  2. 软策略评估：固定策略 ，更新

  1. 软策略提升：更新策略

  1. 重复步骤 2-3 直到收敛

3. Soft Actor-Critic（SAC）

3.1 算法框架

SAC（Soft Actor-Critic）是基于最大熵框架的 Actor-Critic 算法，由 Haarnoja 等人于 2018 年提出。

SAC 的 Actor 目标函数为最小化以下 KL 散度：

3.2 双 Q 网络结构

SAC 使用两个独立的 Q 网络 和 来缓解 Q 值过估计问题：

3.3 自动温度调整

手动调节 需要大量试错。SAC 提出了自动温度调整机制。

4. 最大熵策略梯度

4.1 软策略梯度推导

定理 4.1（软策略梯度定理） 最大熵框架下的策略梯度为：

4.2 与标准策略梯度的关系

标准策略梯度（REINFORCE）：

最大熵策略梯度：

5. 探索-利用权衡

5.1 探索作为熵最大化

定理 5.1（熵与探索的关系） 在最大熵目标中， 正比于策略的累积熵。

5.2 内在动机与最大熵的等价性

若设计内在奖励 （当前策略的负对数概率），则最大化 等效于最大熵目标。

6. 与其他方法的关系

6.1 最大熵 RL vs 熵正则化 DQN

方法目标策略
标准 DQN确定性（-贪婪）
熵正则化 DQN随机（softmax）

6.2 最大熵 IRL（信息论视角）

定义 6.1（最大熵 IRL） 给定专家演示 ，最大熵 IRL 的目标是推断奖励函数 。

参考文献

  1. Haarnoja, T., Zhou, A., Abbeel, P., & Levine, S. (2018). Soft Actor-Critic: Off-Policy Maximum Entropy Deep Reinforcement Learning with a Stochastic Actor. ICML.
  2. Ziebart, B. D., Maas, A. L., Bagnell, J. A., & Dey, A. K. (2008). Maximum Entropy Inverse Reinforcement Learning. AAAI.
  3. Schulman, J., Levine, S., Abbeel, P., Jordan, M., & Moritz, P. (2015). Trust Region Policy Optimization. ICML.

Graph View