Huajishe Notes

1-协变量偏移

7 min read

协变量偏移 (Covariate Shift)

一句话定位

协变量偏移是一种特殊的分布偏移，其中输入特征的边缘分布发生变化，而标签条件分布保持稳定，是理解加权ERM和重要性采样的理论基础。

核心直觉

协变量偏移发生的场景是：源分布和目标分布下，特征的分布不同，但给定时的条件分布相同。直观理解：想想我们在白天学习识别路标，晚上测试时路标的特征（反光、颜色呈现）可能有变化，但路标本身的含义（条件分布）没有变。

这带来的问题是：标准ERM会在源分布上优化，但优化方向可能”偏好”那些在源分布上样本多但在目标分布上罕见的区域。协变量偏移修正通过重新加权样本，使得在目标分布下重要的样本获得更大的权重。

关键洞察：当我们知道源分布和目标分布下的密度比时，可以修正期望 risk 的估计。

数学推导

问题定义

协变量偏移假设：

即条件分布跨分布不变，只有边缘分布发生变化。

重要性权重

定义重要性权重（Importance Weight）：

该权重描述了在目标分布下样本相对于源分布的相对密度。

加权ERM目标

标准ERM优化：

在协变量偏移下，我们希望优化目标分布风险：

利用协变量偏移假设：

因此，加权ERM目标：

权重估计方法

1. 直接密度比估计

使用分类器区分源分布和目标分布样本：

  • 训练分类器预测样本来自目标分布（标签1）还是源分布（标签0）
  • 重要性权重估计：

2. 核密度估计

分别估计和，然后计算比值。

3. Logistic分类器方法

对于二元分类，设表示源/目标分布标签：

可通过Logistic回归估计：

则。

稳定性分析

考虑加权ERM的方差：

当权重估计不准时（大权重可能集中在少量样本），估计方差会大幅增加。

铰链权重截断是常用的稳定化技术：

与IRM的关系

协变量偏移视角下的IRM

IRM可视为在协变量偏移假设下的不变预测器学习问题：

  1. 环境变化表现为变化
  2. 因果机制对应的稳定部分
  3. IRM约束强制预测器依赖而非的局部结构

关键区别

  • 协变量偏移：假设精确不变
  • IRM：允许更弱的假设，只要求存在某种不变性

朴素加权的失败模式

1. 极端权重问题

当在某个区域非零而接近零时，，导致不稳定。

2. 条件分布实际变化的场景

如果实际的因果机制也随环境变化，协变量偏移假设失效，此时加权ERM无法恢复目标分布下的最优预测器。

3. 高维场景下的权重估计困难

在高维空间中，准确地估计密度比非常困难。

优缺点

优点

  • 理论清晰，权重有明确概率意义
  • 当假设成立时，可证明白加权ERM的Oracle一致性
  • 与其他偏移校正方法相比，计算相对高效

缺点

  • 强假设：要求精确不变
  • 权重估计本身是困难问题
  • 极端权重导致数值不稳定
  • 无法处理条件分布也变化的情况

与其他笔记的连接

  • 标签偏移：标签偏移与协变量偏移对称，但处理不同维度
  • IRM：IRM可视为协变量偏移假设下的不变学习方法
  • 不变表示学习：CVP直接利用了协变量偏移假设
  • 环境变化下的稳健学习：环境分割可用于构造协变量偏移场景

可复现性

实现参考

  • 重要性加权ERM：scikit-learn样本权重机制
  • 权重估计：pycasual工具包
  • 稳定性截断：设置进行截断

评估指标

  • 权重分布统计（最小、最大、均值、中位数）
  • 加权验证集 vs 目标测试集性能对比

本章小结

  • 协变量偏移定义：不变，变化
  • 重要性权重
  • 加权ERM目标：
  • 可通过分类器或密度估计估计权重
  • 权重截断是常用的稳定化技术
  • 当假设成立时，加权ERM具有Oracle一致性
  • 朴素加权失败场景：极端权重、条件分布实际变化
  • IRM与协变量偏移假设紧密相关
  • 协变量偏移假设比IRM假设更强
  • 高维场景下权重估计困难

关键词

  • 协变量偏移
  • Covariate Shift
  • 重要性权重
  • 加权ERM
  • 分布偏移
  • 重要性采样
  • 权重截断
  • 不变性
  • OOD泛化
  • 密度比估计

Graph View