不变表示学习 (Invariant Representation Learning)
一句话定位
不变表示学习通过学习在环境间保持稳定的特征表示来实现OOD泛化，是IRM思想的泛化扩展，包含多种变体算法。
核心直觉
不变表示学习的核心洞察是：预测器的鲁棒性来源于特征表示的不变性。当我们能够学习到一个特征表示
传统的表示学习关注于重构原始数据或提升任务性能，但不变表示学习额外关注一个维度：表示是否随环境变化。类比来说，如果一个人无论在晴天还是雨天都用同一套标准判断”是否会下雨”，那么他的判断标准（表示）是鲁棒的。
这个框架自然地与因果联系：真正的因果变量对应的表示应当是环境不变的，而虚假变量对应的表示会随环境变化。
数学推导
因果表示的不变性条件
设数据生成过程满足以下结构：
其中
理想的不变表示
即表示只依赖于
IRM变体算法
1. IRM-ARPE (Anchor-based Representation Parameter Elimination)
IRM-ARPE通过在表示空间中移除环境相关方向：
其中
2. CVP (Causal Vial Prediction)
CVP假设每个环境内的条件分布
CVP目标函数：
约束形式：
CVP通过以下两步实现：
- 学习表示
使得条件分布 跨环境不变 - 在该表示上训练预测器
3. VREx (Variance-based Regularization for Exploiting Environments)
VREx通过惩罚环境间风险方差异来实现不变性：
其中
VREx假设通过最小化风险方差，预测器被推向依赖跨环境稳定的特征。
IRM vs CVP vs VREx对比
| 方法 | 不变性目标 | 假设条件 | 适用场景 |
|---|---|---|---|
| IRM | 预测器梯度为零 | 环境间因果机制不变 | 线性/非线性均可 |
| CVP | 条件分布$P(Y | X)$不变 | |
| VREx | 风险方差小 | 环境间方差可被控制 | 多环境优化 |
非线性环境下的失效场景
当环境变化影响因果机制本身时（即非平稳因果效应），IRM类方法可能失效：
此时不存在同时满足所有环境的”不变”预测器。
实际训练技巧
- 环境批处理：将不同环境数据打包，确保batch内环境多样性
- 渐进式
：从小的 开始，逐渐增加 - 表示正则化：添加
约束防止表示崩溃 - 多阶段训练：先训练表示，再训练预测器
训练与估计
CVP训练流程
-
表示学习阶段：训练编码器
使得： -
预测器训练阶段：固定
，训练 ：
IRM vs CVP选择
- 当环境变化表现为
的分布变化，但 的因果机制不变时，选择CVP - 当环境变化可能影响
的机制时，选择IRM更安全
推理、干预与反事实
OOD推理
在学到不变表示后，新环境的推理：
由于
干预分析
对不变表示的干预
反事实
给定表示
优缺点
优点
- 统一的框架涵盖了多种IRM变体
- 与深度学习结合自然
- 不需要显式指定哪些特征是虚假的
缺点
- 理论保证依赖于强假设（环境不变性）
- 非线性场景下收敛性难以保证
- 超参数选择（
等）缺乏理论指导
与其他笔记的连接
- IRM：IRM是不变表示学习的基础方法
- 协变量偏移：CVP与协变量偏移紧密相关
- 敏感性分析：当假设不成立时需要敏感性分析
可复现性
实现参考
- CVP实现：参考Peters et al. “Causal Inference usingInvariant Prediction” (2016)
- VREx实现：https://github.com/facebookresearch/dro
- 环境构建：使用不同数据集模拟不同环境
实验评估
- ID准确率 vs OOD准确率曲线
- 风险方差作为训练监控指标
本章小结
- 不变表示学习旨在学习环境间稳定的特征表示
- CVP目标：条件分布
跨环境不变 - VREx通过惩罚风险方差实现不变性
- IRM寻找预测器在各环境下同时最优
- 非线性环境可能导致IRM类方法失效
- 环境批处理是重要的训练技巧
- 实际应用中需根据环境变化性质选择合适方法
- 表示正则化防止表示崩溃
- 多阶段训练先优化表示再优化预测器
- 假设检验可通过对比ID和OOD性能进行
关键词
- 不变表示学习
- IRM-ARPE
- CVP
- VREx
- 因果表示
- 条件分布不变性
- 环境不变性
- OOD泛化
- 表示学习
- 虚假相关