Huajishe Notes

2-MDP与因果图

6 min read

MDP与因果图

一句话定位：将标准 MDP 的状态转移图扩展为因果 DAG，揭示状态变量之间的因果依赖结构，使得因果推断工具可以直接用于 RL 中的转移建模与策略优化。

前置依赖：

核心思想

传统 MDP 假设转移 是给定的外部函数，我们的工作是找最优策略。但实际上， 的值由底层的因果机制生成。

如果我们能学到这个因果机制（SCM 或 DAG），就可以：

  1. 预测任意干预下的状态转移
  2. 执行反事实推理：“如果我把某个状态变量改为其他值，会怎样”
  3. 区分直接因果效应和通过其他中介的间接效应

关键扩展：MDP 的状态不再只是一个数值标签，而是一个因果图中的节点集合，每个节点有自己独立的因果机制。

一、形式化：Causal MDP

1.1 Causal MDP 定义

Causal MDP（CMDP）定义为六元组 ：

  • ：状态空间（ 是 DAG 中的节点集合）
  • ：动作空间（ 作为干预节点出现在 中）
  • ：因果 DAG，节点是状态变量和动作
  • ：结构方程集合
  • ：奖励函数，定义在因果图上
  • ：折扣因子

1.2 时间展开的因果图

MDP 的时间特性需要将因果图展开到时序：

节点：

边： 的父节点包括 （上一时刻状态）和 （上一时刻动作）。

时间步 t-1                    时间步 t
S_{t-1} → S_t                S_t → S_{t+1}
   ↓        ↓                    ↓      ↓
A_{t-1} → S_t                A_t → S_{t+1}

注意：动作 指向 ，但 也通过 受上一时刻状态影响。

二、状态转移的因果分解

2.1 独立机制 vs 联合分布

标准 RL 中我们建模联合转移 。

因果视角下， 的每个分量 由独立机制生成：

其中 是 在因果图中的父节点。

2.2 例：两变量状态

设 ，因果结构：

则转移方程：

给定 ，我们可以精确预测 。

三、干预下的转移预测

3.1 原子干预

执行 ：

  • 删除所有指向 的边（假设 无父节点，或其父节点不影响因果机制）
  • 将 设为常数
  • 其他结构方程不变

3.2 预测变化

由于 的因果机制不变，只是输入变了。

四、为什么因果 MDP 比标准 MDP 更强

能力标准 MDPCausal MDP
转移预测 只能描述观测分布SCM 可以预测任意干预下的转移
反事实无法做可以问”如果改变 的某个分量会怎样”
可解释性黑箱因果图可以解释转移机制
样本效率需要大量探索结构知识可以减少探索

五、与前后内容的衔接

继承：

解决：建立了 CMDP 的形式化框架，使得因果图可以直接融入 RL。

引出：

  • [5-因果强化学习综述/] — 在此基础上发展具体 CRL 方法

章节摘要

  • Causal MDP 在标准 MDP 基础上增加因果 DAG 结构
  • 每个状态变量由独立机制生成，允许局部干预
  • 时间展开的因果图包含时序依赖和动作-状态因果关系
  • 因果 MDP 可以预测任意干预下的状态转移
  • 因果 MDP 支持反事实推理和可解释性

关键词

Causal MDP | 因果图与RL | 状态转移因果分解 | 干预下转移预测 | 时间展开因果图

Graph View