Huajishe Notes

4-混杂与选择偏差

12 min read

混杂与选择偏差

一句话定位：混杂是因果推断的核心威胁，指同时影响处理变量和结果变量的未观测因素；选择偏差则是样本自选择导致的代表性缺失，二者都可能导致因果效应不可辨识。

前置依赖：

核心思想

因果推断的根本困难在于：我们想估计的因果效应 不同于观测到的关联 。造成这种差异的主要原因有二：混杂和选择偏差。

混杂（Confounding） 的核心问题是：是否存在同时影响 和 的因素 ？如果有， 与 之间的关联就不仅仅是因果关系，还包含了 通过两条路径（ 和 ）的混合效应。

选择偏差（Selection Bias） 的核心问题是：我们的样本是否是目标群体的代表性样本？如果不是，观测到的关联可能会系统性地偏离因果效应。

用一个生活化的比喻：比较喝咖啡和不喝咖啡的人的心脏病发病率，发现喝咖啡的人发病率更高。这可能不是因为咖啡导致心脏病，而是因为喝咖啡的人往往工作压力更大（压力是混杂因素）。

一、混杂的图形化刻画

1.1 混杂的定义

定义（混杂因素）：变量 是 与 的混杂因素，当且仅当：

  1. 是 的因（）
  2. 是 的因（），或通过其他路径影响
  3. 不是 与 因果路径上的中介

变量定义：

  • ：处理变量
  • ：结果变量
  • ：未观测混杂因素
  • ：可观测协变量
  • ：切断所有指向 的边后的图

1.2 后门路径

定义（后门路径）：任何连接 和 的路径，以箭头进入 结尾。

阻断后门路径：如果在 中存在变量集 使得 ，则 阻断了所有后门路径。

图示：

未观测混杂：        已控制协变量：
U → X → Y         X ← Z → Y
U → Y (后门路径)   (Z 阻断后门路径)

1.3 混杂的图形判定

定理： 与 之间存在未阻断的混杂，当且仅当在 中存在连接 与 的非因果路径。

图形化判定准则：

  • 如果存在未观测变量 使得 形成非阻断路径，则存在混杂
  • 如果所有从 到 的非因果路径都被观测变量阻断，则无混杂

二、调整公式与混杂控制

2.1 调整公式（Adjustment Formula）

定理（后门调整公式）：如果变量集 满足后门准则（阻断所有后门路径，且不包含 的后代），则：

证明： 从潜在结果框架出发：

将 分解为可观测部分 和不可观测部分 ：

由后门路径阻断条件， 在干预下成立，故：

2.2 分层分析（Stratification）

定义：分层分析是在每个协变量层内分别估计因果效应，然后加权平均。

步骤：

  1. 按 的取值将样本分层
  2. 在每层内估计
  3. 使用 作为权重求平均

数学表示：

其中 是层内处理效应。

2.3 匹配（Matching）

定义：匹配通过为每个处理组个体寻找匹配的对照组个体，使得它们的协变量分布相似。

1-最近邻匹配：

其中

倾向得分匹配（PSM）： 首先估计倾向得分 ，然后在相同倾向得分的个体间匹配。

数学性质：如果倾向得分正确，匹配后的处理组与对照组在协变量上达到平衡。

三、选择偏差

3.1 选择偏差的定义

定义（选择偏差）：当样本的选择过程与结果相关时产生的系统性偏差。

数学表示： 真实因果效应：

观测估计（存在选择偏差）：

选择偏差的来源：

因为 的样本不是随机选择的。

3.2 选择偏差作为缺失数据问题

缺失数据框架：

  • 处理组： 被观测， 缺失
  • 对照组： 被观测， 缺失

选择偏差 = 缺失数据机制与结果之间的关联。

逆概率加权（IPW）修正：

其中 是倾向得分。

3.3 M偏差

结构：

X ← U1 → M ← U2 → Y
      ↓
      Z

问题：即使控制了 ， 与 之间仍可能存在通过 的未阻断关联。

图形判定：在 中， 与 之间存在非阻断的 d-连接路径。

四、未观测混杂的检测与敏感性分析

4.1 未观测混杂的检测

挑战：未观测混杂原则上无法从观测数据中被确认检测到。

近似方法：

  1. 阴性对照：寻找预期不受处理影响的 outcome proxy
  2. 差分检验：比较不同数据源的估计一致性
  3. 工具变量：使用与 相关但不直接影响 的变量

4.2 敏感性分析

目标：评估未观测混杂需要多强才能解释观察到的处理效应。

设定：定义 confounder strength ratio：

表示存在未观测混杂使得 更可能为 1。

E值（E-value）：

E值表示未观测混杂需要多强（用相对风险比衡量）才能解释全部观察到的效应。

五、案例分析

5.1 经典混杂案例

案例：吸烟 肺癌 基因型

观测数据：吸烟者有更高的肺癌发病率。

问题：无法区分是吸烟导致肺癌，还是基因型同时影响吸烟行为和肺癌易感性。

解决方案：控制基因型相关的混杂变量（如家族史）。

5.2 选择偏差案例

案例：估计大学教育对收入的影响

问题：上大学的群体在能力、家庭背景上本就与不上大学群体不同。

偏差来源：

解决方案：匹配或逆概率加权，控制可观测的选择因素。

六、优缺点

优点

  • 图形化方法提供了直观的混杂判定工具
  • 后门调整公式给出了可辨识条件下的无偏估计
  • 敏感性分析提供了量化评估混杂影响的方法
  • IPW 和 DR 估计量提供了稳健的估计工具

缺点

  • 未观测混杂无法从数据中确认检测
  • 选择偏差的识别需要额外的假设
  • 高维协变量下的分层面临维度灾难
  • 倾向得分估计模型错误会导致估计偏差

七、与前后内容的衔接

继承：

解决：混杂和选择偏差是因果推断中两类主要的偏倚来源。

引出：

可复现性说明

理论验证：后门调整公式和 IPW 估计量的无偏性已通过理论证明验证。

软件实现：

  • Python: causal-learn 库的后门调整函数
  • R: causal 包的 adjustment 函数
  • 敏感性分析: EValue R 包

章节摘要

  • 混杂是同时影响 和 的未观测因素 ，导致非因果关联
  • 后门路径是所有以箭头进入 结尾的连接路径
  • 控制满足后门准则的协变量 可以阻断后门路径，识别因果效应
  • 选择偏差产生于样本选择与结果相关，是缺失数据问题
  • IPW 通过逆概率加权纠正选择偏差
  • M偏差即使控制了观测协变量仍可能存在未阻断的混杂路径
  • 未观测混杂原则上无法从观测数据中确认检测
  • 敏感性分析（E值）量化评估未观测混杂需要的强度
  • 匹配通过创造可比群体来控制混杂
  • 可辨识性是因果推断的前提：不可辨识时任何估计都有偏

关键词

混杂 | 选择偏差 | 后门路径 | 未观测混杂 | 调整公式 | 分层分析 | 匹配 | 倾向得分 | IPW | M偏差 | 敏感性分析 | E值 | 可辨识性

Graph View