Huajishe Notes

5-因果推断

21 min read

因果推断（Causal Inference）

面向深度学习与强化学习科研人员的因果推断笔记 本笔记涵盖从结构因果模型到强化学习中因果应用的完整理论体系，重点在于数学推导与算法直觉。

目录

  1. 因果模型基础
  2. do-calculus
  3. 因果效应估计
  4. 反事实推理
  5. 因果发现
  6. 在强化学习中的应用
  7. 与信息论的交叉

1. 因果模型基础

1.1 结构因果模型（Structural Causal Model, SCM）

定义 1.1（结构因果模型）

一个结构因果模型是一个四元组 ，其中：

  • ：外生变量（exogenous variables）集合，其概率分布 已给定
  • ：内生变量（endogenous variables）集合，由模型内部变量确定
  • ：一组结构方程，每个内生变量 表示为 其中 是 的父变量集合， 是独立的外生噪声

形式化定义：

其中 表示变量 的所有父变量， 为独立的外生变量。

示例：考虑一个简单模型 ，其结构方程为：

Misplaced &X &= f_X(U_X) = U_X, \quad U_X \sim \text{Bernoulli}(0.5) \\ Y &= f_Y(X, U_Y) = \mathbb{1}\{X + U_Y > 0.5\} \\ Z &= f_Z(Y, U_Z) = Y + U_Z \end{aligned}$$ ### 1.2 因果图与 d-分离 **定义 1.2（有向无环图 DAG）** 因果图是一个有向无环图 $\mathcal{G} = (\mathbf{V}, \mathbf{E})$，其中： - 节点集 $\mathbf{V}$ 对应变量集合 - 边 $V_i \to V_j$ 表示 $V_i$ 是 $V_j$ 的直接原因 **定义 1.3（路径与阻断）** 给定 DAG $\mathcal{G}$ 中的一条路径，考虑三种基本结构： 1. **链式结构**（Chain）：$A \to B \to C$ 2. **叉式结构**（Fork）：$A \to B \leftarrow C$（$B$ 是碰撞节点） 3. **碰撞结构**（Collider）：$A \to B \leftarrow C$ **定义 1.4（d-分离）** 设 $\mathbf{X}, \mathbf{Y}, \mathbf{Z}$ 为节点集 $\mathbf{V}$ 的三个不相交子集。若路径 $p$ 被 $\mathbf{Z}$ 阻断，当且仅当： 1. 链式结构 $A \to B \to C$、叉式结构 $A \leftarrow B \to C$：**中间节点 $B \in \mathbf{Z}$ 时路径阻断**； 2. 碰撞结构 $A \to B \leftarrow C$：**当且仅当 $B \notin \mathbf{Z}$ 且 $B$ 的所有后代也都不在 $\mathbf{Z}$ 中时，路径被阻断**；换言之，观测 $B$ 或其任意后代节点会**打通**碰撞路径。 若 $\mathbf{Z}$ 阻断了 $\mathbf{X}$ 和 $\mathbf{Y}$ 之间的所有路径，则称 $\mathbf{X}$ 和 $\mathbf{Y}$ 被 $\mathbf{Z}$ **d-分离**，记作： $$(\mathbf{X} \perp \mathbf{Y} \mid \mathbf{Z})_{\mathcal{G}}$$ **核心规则**：观测链/叉的**中间节点**阻断路径；观测碰撞结构的**碰撞节点或其任意后裔**则打通路径。 **定理 1.1（d-分离与条件独立）** 在概率分布满足马尔可夫性和忠实性假设下： $$(\mathbf{X} \perp \mathbf{Y} \mid \mathbf{Z})_{\mathcal{G}} \iff P(\mathbf{X}, \mathbf{Y} \mid \mathbf{Z}) = P(\mathbf{X} \mid \mathbf{Z}) P(\mathbf{Y} \mid \mathbf{Z})$$ **定理 1.2（全局马尔可夫性）** 若 $(\mathbf{X} \perp \mathbf{Y} \mid \mathbf{Z})_{\mathcal{G}}$，则在联合分布 $P(\mathbf{V})$ 中，$\mathbf{X}$ 与 $\mathbf{Y}$ 在给定 $\mathbf{Z}$ 时条件独立。 ### 1.3 do 算子与干预 **定义 1.5（干预分布）** do-算子表示对系统进行干预，将变量 $X$ 固定为常数 $x$： $$P(Y \mid do(X = x)) = P_{do(x)}(Y)$$ 这与条件概率 $P(Y \mid X = x)$ 有本质区别： $$P(Y \mid do(X = x)) \neq P(Y \mid X = x)$$ **示例说明混杂**： 考虑 $X \to Y$ 和 $Z \to X$，$Z \to Y$。若我们观察 $X$ 与 $Y$ 的相关性： $$P(Y \mid X = x) = \sum_z P(Y \mid X = x, Z = z) P(Z = z \mid X = x)$$ 但因果效应： $$P(Y \mid do(X = x)) = \sum_z P(Y \mid X = x, Z = z) P(Z = z)$$ 两者不相等，因为 $Z$ 是 $X$ 和 $Y$ 的共同原因（混杂因子）。 **定义 1.6（干预图）** 对 DAG $\mathcal{G}$ 进行干预 $do(X = x)$，得到干预图 $\mathcal{G}_x$： - 删除所有指向 $X$ 的边（$X$ 被强制固定） - 保留其他所有结构 --- ## 2. do-calculus ### 2.1 Pearl's do-calculus 三条基本规则 设 $\mathcal{G}_{\overline{X}}$ 为切掉 $X$ 所有入边后的干预图，$X,Y,Z,W$ 互不相交。 **规则 1（插入/删除观测）** $$P(Y \mid do(X), Z, W) = P(Y \mid do(X), W)$$ 成立条件：在 $\mathcal{G}_{\overline{X}}$ 中 $Y \perp\!\!\!\perp Z \mid X, W$。 **规则 2（行动/观测交换——后门准则本源）** $$P(Y \mid do(X), Z) = P(Y \mid X, Z)$$ 成立条件：原图 $\mathcal{G}$ 中 $X,Y$ 间所有后门路径被 $Z$ 阻断。 **规则 3（无效干预剔除）** 若在 $\mathcal{G}_{\overline{XZ}}$ 中 $Y \perp\!\!\!\perp Z \mid X, W$，则： $$P(Y \mid do(X), do(Z), W) = P(Y \mid do(X), W)$$ ### 2.2 可识别性判定算法 **定义 2.1（因果效应可识别性）** 因果效应 $P(Y \mid do(X = x))$ 是可识别的，当且仅当它可以用观测分布 $P(\mathbf{V})$ 表示。 **算法 2.1（因果效应识别算法）** 输入：因果图 $\mathcal{G}$，干预目标 $X$，目标变量 $Y$ 输出：$P(Y \mid do(X))$ 是否可识别及表达式 **步骤 1**：构建后门准则集合 寻找所有与 $X$ 不相交且阻断所有 $X \leftrightarrow Y$ 后门路径的集合 $\mathbf{Z}$ **步骤 2**：应用 do-calculus 规则 对于每个有效集合 $\mathbf{Z}$，应用规则： $$P(Y \mid do(X)) = \sum_{\mathbf{Z}} P(Y \mid X, \mathbf{Z}) P(\mathbf{Z})$$ **步骤 3**：验证可识别性 若存在至少一个有效集合 $\mathbf{Z}$，则因果效应可识别；否则不可识别。 **定理 2.1（可识别性充要条件）** $P(Y \mid do(X = x))$ 当且仅当满足以下条件之一： 1. 存在集合 $\mathbf{Z}$ 阻断所有 $X$ 到 $Y$ 的后门路径 2. 通过有限次应用 do-calculus 规则可将其转化为仅包含观测分布的表达式 **定理 2.2（后门准则）** 令 $\mathbf{Z}$ 为一组节点。若： 1. $\mathbf{Z}$ 不包含 $X$ 的任何后代 2. $\mathbf{Z}$ 阻断 $X$ 与 $Y$ 之间的每条后门路径 则： $$P(Y \mid do(X)) = \sum_{\mathbf{Z}} P(Y \mid X, \mathbf{Z}) P(\mathbf{Z})$$ --- ## 3. 因果效应估计 ### 3.1 潜在结果框架（Rubin Causal Model） **定义 3.1（潜在结果）** 对于每个个体 $i$，定义： - $Y_i(1)$：接受处理 $X_i = 1$ 的潜在结果 - $Y_i(0)$：接受处理 $X_i = 0$ 的潜在结果 - $Y_i$：实际观察到的结果，满足 $Y_i = Y_i(X_i)$ ### 3.2 ATE、ATT 与 CATE **定义 3.2（平均处理效应 ATE）** $$\text{ATE} = \mathbb{E}[Y_1 - Y_0] = \mathbb{E}[Y(1) - Y(0)]$$ 其中期望是对总体分布取的。 **定义 3.3（处理组的平均处理效应 ATT）** $$\text{ATT} = \mathbb{E}[Y_1 - Y_0 \mid X = 1] = \mathbb{E}[Y(1) - Y(0) \mid X = 1]$$ **定义 3.4（条件平均处理效应 CATE）** 设 $Z$ 为协变量，$X \in \{0,1\}$ 为二元处理变量： $$\text{CATE}(z) = \mathbb{E}[Y(1) - Y(0) \mid Z = z]$$ 也称为异质处理效应（HTE），是个性化推荐和精准医疗的核心概念。 ### 3.3 混杂问题 **定义 3.5（混杂因子）** 变量 $Z$ 是 $X$ 与 $Y$ 之间的混杂因子，当且仅当： 1. $Z \to X$ 且 $Z \to Y$（$Z$ 是两者的共同原因） 2. $Z$ **开启了** $X$ 与 $Y$ 之间的后门路径（是造成观测相关性 ≠ 因果效应的根源） **问题（混杂偏倚）**： $$P(Y \mid X = x) = \sum_z P(Y \mid X = x, Z = z) P(Z = z) \neq P(Y \mid do(X = x))$$ 当存在未观测的混杂因子时，ATE 不可识别。 **定理 3.1（混杂偏倚表达式）** 定义混杂偏倚为： $$\text{Bias} = P(Y \mid X = x) - P(Y \mid do(X = x))$$ 则有： $$P(Y \mid X = x) = \sum_z P(Y \mid do(X = x), Z = z) P(Z = z \mid X = x)$$ **识别公式**： 若满足 ignorability（无未观测混杂）： $$Y(0), Y(1) \perp X \mid Z$$ 则： $$\text{ATE} = \mathbb{E}_Z[\mathbb{E}[Y \mid X = 1, Z] - \mathbb{E}[Y \mid X = 0, Z]]$$ ### 3.4 因果效应估计方法 **公式 3.1（逆倾向加权 IPW）** 二元处理 ATE 的 IPW 估计： $$\text{ATE} = \mathbb{E}\left[\frac{XY}{e(Z)}\right] - \mathbb{E}\left[\frac{(1-X)Y}{1-e(Z)}\right], \quad e(Z) = P(X=1 \mid Z)$$ 干预分布的后门调整形式： $$P(Y \mid do(X=x)) = \mathbb{E}_Z[\mathbb{E}[Y \mid X=x, Z]]$$ **公式 3.2（回归估计）** 通过回归模型直接估计： $$\hat{\text{ATE}} = \frac{1}{n} \sum_{i=1}^n \left(\hat{\mathbb{E}}[Y \mid X = 1, Z_i] - \hat{\mathbb{E}}[Y \mid X = 0, Z_i]\right)$$ --- ## 4. 反事实推理 ### 4.1 反事实的定义与潜在结果框架 **定义 4.1（反事实结果）** 在结构因果模型中，反事实结果 $Y_x$ 表示：当干预 $do(X = x)$ 发生时，$Y$ 会取的值。 对于特定个体 $u$： $$Y_x(u) = f_Y(\mathbf{PA}_{\mathcal{G}_x}(Y), u)$$ 其中 $\mathbf{PA}_{\mathcal{G}_x}(Y)$ 表示在干预图 $\mathcal{G}_x$ 下 $Y$ 的父节点集合。 ### 4.2 反事实的概率解释 **定理 4.1（反事实概率公式）** $$P(Y_x = y) = \sum_u P(Y_x = y \mid U = u) P(U = u)$$ 其中 $U$ 是外生变量（不可观测的潜在因子）。 **推导**： 由全概率公式： $$\begin{aligned} P(Y_x = y) &= \sum_u P(Y_x = y, U = u) \\ &= \sum_u P(Y_x = y \mid U = u) P(U = u) \quad \text{（边际化）} \end{aligned}$$ **定理 4.2（反事实的条件概率）** $$P(Y_x = y \mid X = x') = \sum_u P(Y_x = y \mid U = u, X = x') P(U = u \mid X = x')$$ 当 $x \neq x'$ 时，这表示反事实条件概率。 ### 4.3 与贝叶斯网络的关系 **定理 4.3（贝叶斯网络中的反事实）** 在贝叶斯网络中，给定观测证据 $E = e$，反事实推理计算： $$P(Y_{x} = y \mid E = e)$$ 这涉及： 1. **证据传播**：计算后验 $P(U \mid E = e)$ 2. **干预更新**：修改网络结构为 $do(X = x)$ 3. **边际化**：对 $U$ 求和 **结构因果模型与贝叶斯网络的区别**： | 特征 | SCM | 贝叶斯网络 | |------|-----|-----------| | 干预处理 | 通过修改结构方程 | 需要重新参数化 | | 反事实推理 | 自然支持 | 需要额外机制 | | 因果语义 | 显式 | 隐式 | ### 4.4 反事实的算法实现 **算法 4.1（反事实采样算法）** 1. 从观测数据中推断外生变量后验：$P(U \mid \text{观测})$ 2. 对每个样本 $u$，计算反事实结果：$Y_x(u) = f_Y(\mathbf{PA}_{\mathcal{G}_x}(Y), u)$ 3. 聚合所有反事实结果得到分布：$P(Y_x = y)$ --- ## 5. 因果发现 ### 5.1 PC 算法 **算法 5.1（PC 算法 - 因果骨架发现 + 方向标注）** **输入**：观测数据 $\mathbf{D} = \{X_1, X_2, \ldots, X_n\}$ **输出**：等价类因果 DAG **阶段 1：骨架发现** 1. 初始化完全无向图 $\mathcal{G}$ 2. 对每个节点对 $(X_i, X_j)$，检验条件独立性 $X_i \perp X_j \mid \mathbf{S}$ 3. 若条件独立，删除边并记录分离集 $\mathbf{S}_{ij}$ 4. 逐步增加条件集大小（从 0 到 $k$），直到达到最大深度 **阶段 2：方向标注** 1. 应用 v-结构准则：对非相邻节点对 $(X_i, X_j)$，若 $X_i$ 和 $X_j$ 有共同邻居 $X_k$，且 $X_k \in \mathbf{S}_{ij}$，则标注方向 $X_i \to X_k \leftarrow X_j$ 2. 应用 Meek 规则扩展方向： - 规则 R1：若 $X_i \to X_j - X_k$ 且 $X_i \perp X_k \mid X_j$，则 $X_j \to X_k$ - 规则 R2：若 $X_i \to X_j \to X_k$ 且 $X_i - X_k$，则 $X_i \to X_k$ **定理 5.1（PC 算法完备性）** PC 算法返回的因果图与真实因果图在 d-分离意义上等价。 ### 5.2 FCI 算法 **算法 5.2（FCI 算法 - 面向潜变量）** 当存在未观测的混杂因子时，PC 算法可能失效。FCI 算法通过引入可能集合（possible set）处理不确定性。 **主要修改**： 1. 骨架发现阶段使用更保守的条件独立性检验 2. 使用可能父母（possible parents）和可能后代（possible descendants）集合 3. 最终输出部分方向图（PAG） ### 5.3 评分搜索方法 **定义 5.1（BIC 评分函数）** 对于候选 DAG $\mathcal{G}$： $$\text{BIC}(\mathcal{G}) = \log L(\mathcal{G} \mid \mathbf{D}) - \frac{d(\mathcal{G})}{2} \log n$$ 其中 $L$ 是似然函数，$d(\mathcal{G})$ 是模型自由参数个数，$n$ 是样本量。 **算法 5.3（稀疏 DAG 发现）** 1. 初始化空图或稀疏图 2. 使用局部搜索算子（添加边、删除边、反转边） 3. 每步选择使 BIC 评分增加的操作 4. 继续直到收敛或达到最大迭代次数 **定理 5.2（渐近一致性）** 在样本量趋于无穷时，若真实因果图是稀疏的，则 BIC 评分搜索方法以概率 1 恢复真实图结构。 ### 5.4 因果发现与因果推断的关系 **定理 5.3（因果可识别性与因果发现）** 因果发现解决的的问题是：从观测数据恢复因果结构。 因果推断解决的问题是：在已知因果结构下，从数据估计因果效应。 两者关系： - 因果发现提供因果结构 $\mathcal{G}$ - 因果推断利用 $\mathcal{G}$ 识别和估计 $P(Y \mid do(X))$ --- ## 6. 在强化学习中的应用 ### 6.1 离线 RL 中的因果混淆 **问题定义**： 在离线强化学习中，观测数据 $(S_t, A_t, R_t, S_{t+1})$ 由某一行为策略 $\pi_\beta$ 生成。状态转移 $P(S_{t+1} \mid S_t, A_t)$ 可能存在未观测的混杂因子。 **因果分析**： 考虑状态 $S$、动作 $A$、奖励 $R$、下一状态 $S'$。若存在未观测变量 $U$ 同时影响 $A$ 和 $S'$，则： $$P(S' \mid do(A)) \neq P(S' \mid A)$$ **定理 6.1（离线 RL 中的混淆偏倚）** 价值估计存在以下偏倚： $$V^{\pi}(s) = \mathbb{E}[R \mid do(A) \sim \pi, do(S) = s] \neq \mathbb{E}[R \mid A \sim \pi, S = s]$$ **解决方案**： 1. **加权重要性采样**：修正混杂效应 2. **因果反事实校正**：利用 $do$-calculus 识别真实转移 ### 6.2 Causal RL：基于因果的策略表示 **定义 6.1（因果策略）** 策略 $\pi(A \mid S)$ 可分解为： $$\pi(A \mid S) = \sum_z P(A \mid Z) P(Z \mid S)$$ 其中 $Z$ 是因果中介变量。 **定理 6.2（因果策略学习）** 在满足因果马尔可夫条件下，最优策略可表示为： $$\pi^*(A \mid do(S)) = \arg\max_{\pi} \mathbb{E}\left[\sum_t \gamma^t R(S_t, A_t) \mid do(S_t)\right]$$ ### 6.3 反事实后悔值（CFR） **定义 6.2（反事实后悔值）** 在博弈论中，单动作瞬时遗憾（instantaneous regret）为： $$R_t(h, a) = Q_t(h, a) - V_t(h), \quad V_t(h) = \mathbb{E}_a Q_t(h, a)$$ 累积反事实后悔（counterfactual regret）为： $$Regret_T(h, a) = \sum_{t=1}^T R_t(h, a)$$ 策略更新依靠最小化累积后悔，而非直接最小化 $CFR$ 本身。 **算法 6.1（CFR 算法）** 1. 初始化所有信息集的值函数 2. 迭代计算反事实后悔值 3. 使用遗憾最小化更新策略 4. 应用反事实校正：考虑在每个信息集采取替代动作的结果 --- ## 7. 与信息论的交叉 ### 7.1 因果信息瓶颈（Causal IB） **定义 7.1（信息瓶颈）** 给定观测变量 $X$ 和目标变量 $Y$，信息瓶颈目标： $$\min_{T} I(X; T) - \beta I(T; Y)$$ 其中 $T$ 是压缩表示。 **因果信息瓶颈扩展**： 在因果框架下： $$\min_{T} I(X_{causal}; T) - \beta I(T; Y_{causal})$$ 其中 $X_{causal}$ 和 $Y_{causal}$ 表示因果干预后的变量。 **定理 7.1（因果 IB 的最优性）** 因果信息瓶颈在学习因果表示时比标准信息瓶颈更具理论保证，特别是在分布迁移场景下。 ### 7.2 因果马尔可夫条件与信息论 **定理 7.2（因果马尔可夫条件）** 在 SCM $\mathcal{M}$ 中，联合分布满足（已边际化外生变量 $\mathbf{U}$）： $$P(\mathbf{V}) = \prod_{V_i \in \mathbf{V}} P(V_i \mid \mathbf{PA}_i)$$ 等价于信息论表达： $$H(\mathbf{V}) = \sum_{V_i} H(V_i \mid P_A(V_i))$$ **定义 7.2（因果熵）** 定义因果熵为： $$H_{causal}(\mathbf{V}) = \sum_{V_i} I(P_A(V_i); V_i)$$ 这量化了从父节点到子节点的信息传递。 **定理 7.3（因果充分性）** 若信息瓶颈表示 $T$ 满足： $$T \perp P_A(T) \mid Y$$ 则 $T$ 是因果充分的。 **因果条件互信息**： $$I(X; Y \mid do(Z)) = \sum_{z} P(z) D(P(Y \mid X, do(Z) = z) \| P(Y \mid do(Z) = z))$$ --- ## 附录 ### A. 核心符号表 | 符号 | 含义 | |------|------| | $do(X = x)$ | 强制干预 $X$ 取值 $x$ | | $Y_x$ | 反事实结果（$X = x$ 干预下的 $Y$） | | $P(Y \mid do(X))$ | 干预分布 | | $(\mathbf{X} \perp \mathbf{Y} \mid \mathbf{Z})_{\mathcal{G}}$ | d-分离 | | ATE | 平均处理效应 | | CATE | 条件平均处理效应 | | SCM | 结构因果模型 | | DAG | 有向无环图 | | FCI | Fast Causal Inference | ### B. 主要参考文献 1. Pearl, J. (2009). *Causality: Models, Reasoning, and Inference* (2nd ed.). Cambridge University Press. 2. Rubin, D. B. (1974). Estimating causal effects of treatments in randomized and nonrandomized studies. *Journal of Educational Psychology*. 3. Spirtes, P., Glymour, C., & Scheines, R. (2000). *Causation, Prediction, and Search* (2nd ed.). MIT Press. 4. Peters, J., Janzing, D., & Schölkopf, B. (2017). *Elements of Causal Inference*. MIT Press. 5. Shpitser, I., & Pearl, J. (2006). Identification of conditional interventional distributions. *UAI*. --- **笔记元信息** - 创建日期：2026-05-14 - 面向对象：深度学习与强化学习科研人员 - 核心内容：因果推断数学基础、do-calculus、因果效应估计、反事实推理、因果发现算法、在 RL 中的应用、与信息论的交叉

Graph View