Invariant Risk Minimization (IRM)
一句话定位
IRM是一种通过在多个环境下寻找不变量预测器来实现分布外(OOD)泛化的因果学习方法，旨在避免学习虚假相关性。
核心直觉
传统经验风险最小化(ERM)通过在训练集上最小化期望损失来学习预测器，其隐含假设是训练和测试分布一致。然而当测试环境与训练环境存在分布偏移时，ERM学到的预测器会利用虚假特征(spurious features)——这些特征在训练环境中与标签相关，但在其他环境中可能无关。例如，图像中草地的绿色可能与牛相关，但在测试图片中草地可能是棕色。
IRM的核心思想是：一个真正因果的预测器应当在所有环境中都表现稳定。如果一个预测关系是由因果机制产生的，那么它应该在不同的分布偏移下保持不变。IRM通过约束预测器在所有环境下同时最优来实现这一目标，使得学到的预测器只能依赖因果特征而非虚假相关。
数学推导
问题设定
设我们有
标准ERM目标
标准ERM最小化所有环境上的平均风险：
其中
IRM约束形式
IRM引入不变性约束，要求预测器
其中：
：主预测器参数 ：虚拟分类器权重（IRM-Playground版本中 作为 在每个环境的辅助） ：正则化参数，控制不变性约束强度 ：风险在 处的梯度
当
更紧凑的IRM formulation
对于线性预测器场景，IRM可写为：
这迫使
因果视角
考虑结构因果模型：
IRM约束确保学到的预测器只能依赖稳定的因果机制，而非随环境变化的虚假关联。
训练与估计
IRM-Playground算法
IRM-Playground是IRM的实际实现算法，通过交替优化实现：
-
内层循环：固定
，对每个环境 优化辅助变量 -
外层循环：固定
，优化主预测器
训练技巧
- 逐渐增大
：从 （标准ERM）开始，逐步增大 - 环境批次化：将不同环境的数据打包成批次
- 特征表示学习：IRM通常作用于学习的表示
而非原始输入
超参数选择
太小：不变性约束不足，仍可能学习虚假相关 太大：可能导致所有环境上表现都较差的预测器
实践中使用验证集在多个
推理、干预与反事实
OOD泛化推理
给定训练环境集合
由于
干预分析
在因果框架下，IRM相当于寻找在干预下的不变预测器。若对虚假特征
反事实推理
对于IRM预测器，反事实query
其中
优缺点
优点
- 理论保障：在环境数量足够多且满足不变性假设时，IRM可识别真因果机制
- 不需要显式建模分布偏移
- 可与深度表示学习结合
缺点
- 线性假设依赖：原始IRM理论依赖线性表示假设，在复杂非线性场景可能失效
- 环境数量要求：需要足够多的环境来区分因果和虚假特征
- 计算复杂度：交替优化的计算成本较高
- 非凸性：整体优化问题非凸，可能陷入局部最优
与其他笔记的连接
- 不变表示学习：IRM是不变表示学习的一种方法，两者密切相关
- 协变量偏移：IRM可以看作是对付协变量偏移的一种方法，但更通用
- 因果机制不变性：IRM的理论基础是因果机制在环境间的不变性
- 敏感性分析：当IRM假设不成立时，需要敏感性分析评估结论稳健性
可复现性
实现参考
- 原始论文：Arjovsky et al. “Invariant Risk Minimization” (2019)
- IRM-Playground代码：https://github.com/facebookresearch/InvariantRiskMinimization
- 关键超参数：
，训练轮数
实验设置
- 环境模拟：可通过手动构建多个环境（如不同背景、不同光照条件）
- 基线对比：ERM、IRM-v1、IRM-Playground
- 评估指标：ID（in-distribution）准确率、OOD（out-of-distribution）准确率
本章小结
- IRM通过约束预测器在所有环境下同时最优来实现OOD泛化
- IRM目标函数包含风险项和不变性梯度项：
- IRM背后的因果假设：因果机制在不同环境下保持不变
- IRM适用于环境间分布偏移来自虚假特征的场景
- IRM的理论保证依赖于线性表示和足够数量的环境
- IRM-Playground通过交替优化实现IRM目标
- 当数据生成过程满足IRM假设时，可识别真正的因果预测器
- IRM与协变量偏移有紧密联系，但更generalized
- 实际应用中需要选择合适的
超参数 - 当IRM假设不成立时，结论需要通过敏感性分析评估稳健性
关键词
- Invariant Risk Minimization
- IRM
- OOD泛化
- 不变预测器
- 虚假相关
- 因果机制
- 环境不变性
- IRM-Playground
- 分布外泛化
- 因果特征