Huajishe Notes

1-动作即干预

7 min read

动作即干预

一句话定位：在因果强化学习框架下，RL 中的动作（action） 等价于对环境因果结构的干预（intervention），这是连接因果推断与强化学习的理论接口。

前置依赖：

核心思想

标准 RL 将环境视为黑箱，只关心状态转移概率 和累积奖励 。因果视角则将环境视为具有因果结构的系统：动作 不是单纯从状态到动作的映射，而是对环境因果机制的主动干预。

关键洞察：动作 在因果视角下等价于 。这意味着：

  1. 动作改变的不只是状态，还可能改变状态变量的因果机制本身
  2. 反事实推理可以直接应用于 RL——“如果我当初做了别的动作，会得到多少奖励”
  3. 因果图可以用来解释为什么某些动作有效

一、形式化：MDP 中的动作即干预

1.1 标准 MDP 定义

标准 MDP 是一个五元组 ：

  • ：状态空间
  • ：动作空间
  • ：转移概率
  • ：奖励函数
  • ：折扣因子

1.2 因果 MDP（Causal MDP）

将 MDP 的环境替换为 SCM：每个状态变量 由结构方程定义：

其中 是噪声。

动作 对应的干预 会：

  • 切断所有指向 的边（父节点不再影响 ）
  • 将 设置为常数

1.3 关键区别：动作 vs 观测

在观测研究（observational study）中， 是随机变量，其分布由模型内部决定。

在 RL 中， 是由策略 主动选择的。选择本身可能受到环境状态 的影响，但一旦选择并执行，动作对环境的影响相当于原子干预。

这意味着： 的效果不能简单地从 推断，因为 的分布来自策略而非环境。

二、从 do-calculus 到 RL 决策

2.1 因果图与 MDP 的融合

考虑一个简单的链式因果结构：

在这个结构中：

  • 强制
  • 只通过 被影响（因为没有其他父节点指向 ）
  • 干预分布 等于条件分布

2.2 反事实推理在 RL 中的应用

反事实查询：在时间步 ，已知实际动作 产生了结果 。问：“如果我当初选择动作 ， 会是多少？”

执行步骤（类比 Pearl 的三步）：

  1. 溯因（Abduction）：根据观测数据 ，推断外生变量 的后验分布
  2. 修改（Modification）：将策略或动作选择机制修改为
  3. 预测（Prediction）：使用更新后的噪声后验，在新模型下推演

形式化推导：

原始 SCM：

溯因：给定 ，解得

反事实预测：

代入更新后的 ：

三、为什么这个视角有用

3.1 反事实探索（Counterfactual Exploration）

传统 -greedy 探索是随机扰动动作。因果视角下的探索可以更智能：

反事实探索策略：对于已执行的动作 ，计算”如果我做了其他 ，奖励会是多少”。这需要构建因果模型来模拟反事实结果。

3.2 因果解释

因果图可以用来解释为什么某个动作带来高奖励：

  • 如果 通过 间接影响 ，而 受到多个变量影响，则动作效果可能有噪声
  • 如果存在未观测混杂 同时影响 和 ，则动作选择可能有选择性偏差

3.3 因果策略学习

如果环境的因果结构已知（或部分已知），可以针对性地设计只改变因果相关变量的动作。

四、与前后内容的衔接

继承：

解决：建立了”动作 = 干预”这一对应关系，为因果强化学习奠定理论基础。

引出：

  • 2-MDP与因果图 — 展开 MDP 与因果图的结合方式
  • [5-因果强化学习综述/] — 具体的因果强化学习方法

章节摘要

  • 动作 在 RL 中等价于对环境的原子干预
  • 标准 MDP 只关心 ，因果 MDP 关心背后的 SCM
  • 动作的分布来自策略，不同于观测研究中变量的分布
  • Pearl 的反事实三步（溯因→修改→预测）可以直接应用到 RL 决策
  • 因果视角提供：反事实探索策略、动作效果解释、因果策略学习框架

关键词

动作即干预 | 因果RL | do算子与RL | 反事实探索 | 因果MDP | SCM与RL

Graph View