Huajishe Notes

1-因果强化学习综述 A

10 min read

因果强化学习综述 A

定位

本篇笔记系统梳理因果强化学习（Causal Reinforcement Learning, CRL）的四大主流方法分类：基于因果发现的RL、因果奖励塑形、因果探索与因果世界模型，阐述各类别的核心思想、代表性论文与关键算法机制。

前置知识

  • 强化学习基础：马尔可夫决策过程（MDP）、策略梯度、Q-learning
  • 因果推断基础：结构因果模型（SCM）、do算子、反事实推理
  • 变分推断与信息论基础

核心直觉

传统强化学习将环境视为黑箱，仅通过奖励信号学习决策策略。因果强化学习的核心洞察是：将因果结构引入RL，使智能体能够理解”为什么”某个动作导致特定的奖励，从而实现更高效、更可泛化的决策。

因果结构提供了三种传统RL缺乏的能力：

  1. 解耦干扰：分离环境中的因果与非因果因素
  2. 反事实推理：想象”如果采取不同动作会怎样”
  3. 结构化泛化：利用因果机制的不变性进行跨环境迁移

数学框架

问题定义

给定一个MDP ，因果强化学习假设存在一个底层结构因果模型（SCM）：

其中：

  • ：可观测变量集合（包括状态 、动作 、奖励 ）
  • ：外生噪声变量集合
  • ：因果机制函数集合

状态转移可表示为：

奖励函数为：

四类因果强化学习方法

类别一：因果发现用于RL（Causal Discovery for RL）

核心思想：从观测数据中学习环境因果结构，利用因果结构指导策略优化。

代表性论文：

  • Zhang et al. (2020) “Causal Discovery with Reinforcement Learning”
  • Gasse et al. (2021) “Causal Discovery in Reinforcement Learning”

目标函数：

其中 为学习的因果图结构， 为给定因果结构下策略 诱导的状态-动作分布。

算法框架：

其中 为因果图复杂度惩罚项。

类别二：因果奖励塑形（Causal Reward Shaping）

核心思想：利用因果知识将稀疏奖励信号转化为更丰富的奖励信号，加速策略学习。

Potential-Based Reward Shaping（Singh et al., 2019）：

其中 为势函数。基于因果结构，势函数定义为：

因果奖励塑形的保证：如果塑形奖励满足上述形式，则最优策略不变。

因果 Shapley 奖励分解：

其中 为 Shapley 值， 为因果重要性权重。

类别三：因果探索（Causal Exploration）

核心思想：利用因果结构中的不确定性指导探索，将因果 surprise 作为内在奖励。

因果 surprise 定义：

其中 为互信息， 为状态转移中的未解释因素。

算法框架（Shibata et al., 2021）：

其中 为真实因果模型， 为当前估计模型。

反事实好奇心（Counterfactual Curiosity）：

其中 为反事实动作。

类别四：因果世界模型（Causal World Models）

核心思想：构建显式因果世界模型，用于规划、想象与反事实推理。

因果世界模型结构：

其中因果转换函数建模为：

为确定性因果函数， 为因果外生变量。

因果规划（Causal Planning）：

训练与估计细节

因果发现训练流程

1. 初始化：随机图结构 G₀
2. 收集数据：执行随机策略收集轨迹 {τ₁, τ₂, ..., τₙ}
3. 因果发现：使用RL反馈优化图结构
   - 梯度：∇_G J = ∂V(G)/∂G
   - 奖励塑形：V(G) = V_env(G) - λ·Complexity(G)
4. 策略学习：基于发现的因果结构学习策略
5. 迭代：重复步骤2-4直到收敛

因果奖励估计

使用因果干预实验估计因果效应：

奖励塑形项计算：

内在奖励估计

因果 surprise 计算使用变分推断近似：

推理/干预/反事实过程

因果干预

给定当前状态 ，执行动作 的因果效应为：

反事实推理

反事实查询：给定轨迹 ，计算如果当初选择了 的结果：

反事实奖励：

反事实梯度估计

优势与局限

优势

  1. 样本效率提升：因果结构使智能体能够更好地理解动作的真正效果，减少无效探索
  2. 泛化能力：因果机制的不变性使得策略能够跨环境迁移
  3. 可解释性：因果图提供了决策的透明解释
  4. 反事实推理能力：支持”如果…会怎样”的问题
  5. 奖励设计简化：因果奖励塑形可以将复杂奖励分解为可组合的因果因素

局限

  1. 因果发现困难：从有限数据中准确发现因果结构本身是一个难题
  2. 计算复杂度：因果结构的推理与优化增加了计算开销
  3. 因果假设：需要领域知识或强假设来约束因果图空间
  4. 部分可观测性：现实环境中往往无法观测所有相关变量
  5. 非stationary环境：因果结构可能随时间变化

与其他笔记的关联

  • 前置：因果与RL的接口（1-因果与RL的接口）— 提供了因果强化学习的基础框架
  • 后续：因果强化学习综述 B（2-CRL综述B）— 覆盖2020年后的最新进展
  • 扩展：因果视角下的可解释RL（3-解释性RL/1-因果视角下的可解释RL）— 利用因果结构解释RL决策
  • 应用：因果辅助探索（4-因果决策/1-因果辅助探索）— 应用因果模型指导探索
  • 泛化：因果策略泛化（4-因果决策/2-因果策略泛化）— 利用因果不变性实现跨环境泛化

可复现性说明

关键论文与代码

类别论文开源代码
因果发现Zhang et al. (2020)https://github.com/…
因果奖励塑形Singh et al. (2019)https://github.com/…
因果探索Shibata et al. (2021)https://github.com/…
因果世界模型Ha et al. (2018) World Modelshttps://github.com/…

实验环境

  • Python 3.8+
  • PyTorch 1.8+
  • gym 环境
  • causal-learn 库用于因果发现

本章小结

  • 因果强化学习将因果结构引入RL，使智能体能够理解环境因果机制
  • 四大主流方法分类：
    1. 因果发现用于RL：从数据中学习因果结构指导决策
    2. 因果奖励塑形：利用因果知识丰富奖励信号
    3. 因果探索：将因果 surprise 作为内在奖励
    4. 因果世界模型：构建显式因果转移模型支持规划
  • 因果结构提供了反事实推理、结构化泛化与可解释性能力
  • 主要挑战包括因果发现的准确性、计算效率与环境非平稳性
  • 代表性论文覆盖2018-2021年期间的重要工作

关键词

因果强化学习、因果发现、因果奖励塑形、因果探索、因果世界模型、反事实推理、策略泛化、内在奖励、可解释RL、结构因果模型

Graph View