2-标签偏移

标签偏移 (Label Shift)

一句话定位

标签偏移是一种分布偏移形式，其中标签的边缘分布发生变化，而特征条件分布保持稳定，与协变量偏移形成对偶关系。

核心直觉

标签偏移发生的场景与协变量偏移相反：标签的分布本身发生了改变，但给定标签后特征的条件分布保持稳定。典型的场景是医疗筛查——在人群中的患病率（标签分布）在筛查人群中可能不同，但患病与否决定了检查结果的分布。

处理标签偏移的关键思想是利用这个结构反过来估计标签分布的变化。不同于协变量偏移需要重新加权样本，标签偏移通过修正模型的预测输出分布来适应新的标签分布。

这个方法之所以强大，是因为它只需要访问模型对特征的表示（即黑盒访问），而不需要知道模型如何做最终决策。这使得该方法可以修正预训练模型在分布偏移下的预测。

数学推导

问题定义

标签偏移假设：

即条件分布跨分布不变，只有标签边缘分布发生变化。

标签偏移与协变量偏移的对偶性

由贝叶斯定理：

在标签偏移假设下，不变，但变化，导致在训练和测试间不同。

重要性权重

类似于协变量偏移，定义标签上的重要性权重：

这是测试分布与训练分布的标签密度比。

测试分布下预测的修正

对于测试分布下的边缘预测：

使用贝叶斯定理和标签偏移假设：

如果我们有模型对的估计和当前预测的，可以通过以下迭代修正：

Black Box Shift Learning (BBSL)

BBSL是一种实用的标签偏移修正方法，无需重新训练模型。

假设：

1. 模型可以提供对输入的特征表示（黑盒访问）
2. 训练集和测试集特征分布已知

步骤：

1. 估计：使用原始模型
2. 估计测试分布下的预测：

3. 计算调整后分布：

通过EM算法或最大似然估计迭代求解。

Last Layer Reweighting

一种简化的BBSL实现，适用于深度学习模型：

1. 冻结网络主干：提取特征表示
2. 训练新层：在训练集上训练进行分类
3. 修正预测分布：

给定新标签分布，修正输出：

标签偏移的可检测性

标签偏移可以通过以下统计量检测：

测试集预测分布的KL散度：

如果该散度显著大于零，可能存在标签偏移。

分类器检测法：训练一个分类器区分训练和测试样本，如果分类器容易区分，则可能存在显著分布偏移。

与协变量偏移的对比

特性	协变量偏移	标签偏移
不变的分布
变化的分布
重要性权重维度	空间	空间
修正方法	加权ERM	输出分布修正
估计难度	通常较难	通常较易（维度低）

优缺点

优点

• 利用了标签空间通常低维的特性
• 只需要黑盒访问模型预测
• 无需重新训练整个模型
• 可在线修正模型预测

缺点

• 假设在实际中可能不严格成立
• 当特征维度高时，估计困难
• 需要知道训练和测试的标签分布
• 对权重估计误差敏感

与其他笔记的连接

• 协变量偏移：标签偏移的对偶问题
• Black Box Shift Learning：实用的标签偏移修正方法
• 敏感性分析：评估结论对偏移假设的敏感程度

可复现性

实现参考

• BBSL论文：Lipton et al. “Detecting and Correcting for Label Shift with Black Box Predictors” (2018)
• 实现工具：https://github.com/msmsa2003/label-shift-correction

评估设置

• 在训练集上模拟标签偏移（如改变类别比例）
• 对比修正前后的测试性能

本章小结

• 标签偏移定义：不变，变化
• 与协变量偏移形成对偶关系
• 重要性权重
• BBSL通过黑盒访问修正预测分布
• Last Layer Reweighting是实用的简化方法
• 标签偏移通常比协变量偏移更容易处理
• 可通过KL散度检测标签偏移程度
• 无需重新训练模型，只需修正输出
• 当假设不成立时，方法失效
• 实际应用中常与协变量偏移联合考虑

关键词

• 标签偏移
• Label Shift
• 寇称偏移
• 重要性权重
• Black Box Shift Learning
• BBSL
• Last Layer Reweighting
• 分布修正
• 不变性
• 测试分布预测