Huajishe Notes

2-因果表示学习中的可辨识性

14 min read

因果表示学习中的可辨识性 (Identifiability in Causal Representation Learning)

一句话定位

可辨识性问题是因果表示学习的核心挑战：在没有额外结构假设的情况下，从观测数据的联合分布中无法唯一确定潜在的因果变量和因果结构。

前置知识

  • 概率论：条件分布、贝叶斯定理、KL散度
  • 因果推断：SCM、do算子、d-分离、因果图
  • 表示学习：VAE、生成模型、变分推断
  • 信息论：互信息、充分统计量

核心直觉

考虑一个基本问题：给定观测数据 的分布 ，能否唯一确定产生这些数据的因果变量 和因果机制？

答案是：一般不能。

举个简单的例子：假设 是二元变量，， 是连续变量，由 生成，其中 。如果我们只看到 ，无法区分以下两种情况：

  1. 导致了 （因果方向 ）
  2. 导致了 （因果方向 ，但这在静态模型中不太合理）

更准确地说，对于任意观察到的 ，可以找到无穷多对 使得 。这就是不可辨识性问题。

为了使可辨识性成立，我们需要引入额外的假设。这些假设通常涉及：

  1. 生成模型的结构： 的形式
  2. 因果结构的稀疏性：只有少数变量之间有因果关系
  3. 因果机制的独立性：每个机制可以独立干预
  4. 多视图/多模态数据：多个观测来源可以相互验证

问题形式化

基本设置

给定观测变量 ，我们假设存在：

  1. 因果变量 ，维度 （是的维度）
  2. 生成模型 ，也称为解码器或观测模型
  3. 因果结构 ，描述 之间的因果关系

生成过程：

其中 由因果结构 决定。

可辨识性的定义

定义（可辨识性）：一个因果表示学习模型是可辨识的，如果对于任意两个不同的模型配置 和 ，只要它们产生相同的观测分布 ，就有 。

更实际地说，我们通常关注弱可辨识性：

  • 弱可辨识性： 是唯一的（即后验分布可辨识），但 本身的标记可能不确定
  • 强可辨识性： 本身可辨识，包括其标记和顺序
  • 完全可辨识性： 和因果图 都可辨识

为什么一般不可辨识

不可辨识性的来源

考虑最简单的线性高斯情况：

其中 是变换矩阵。

观测分布 是 。给定 ，我们可以唯一确定协方差矩阵 ，但无法唯一确定 ：

  1. 旋转模糊性：如果 是正交矩阵（），则 和 产生相同的协方差
  2. 尺度模糊性： 和 （是对角矩阵）产生相同的协方差如果

更一般地，任何满足 的 和 都是不可辨识的。

无先天因果方向

另一个根本问题是：在没有干预数据的情况下，从观测分布 无法确定因果方向。

考虑二元变量 的情况：

我们可以等效地写成：

这两种分解产生相同的联合分布，但对应不同的因果结构：

  • ： 是原因， 是结果
  • ： 是原因， 是结果

这是因为 对所有分布都成立。

可辨识性条件

Sufficient Adjacency Condition (SAC)

定义（充足邻接条件）：如果因果图 满足以下条件，则称其满足SAC：

  1. 每个因果变量 至少有一个子节点（或在观察空间中有足够的连接）
  2. 观察变量 之间有足够的连接来传递因果信息
  3. 因果机制之间是独立的

SAC的核心思想是：为了从观测空间辨识因果结构，观测变量之间必须有足够的连接，使得因果信息可以通过这些连接传递。

最小生成模型

定义（最小生成模型）：一个生成模型是最小的，如果删除任何因果变量或其连接都会改变产生的分布。

最小性条件帮助消除不必要的冗余，缩小搜索空间。

完备性条件

定义（因果机制完备性）：每个因果机制 都是可逆的，即存在 使得 。

这个条件在某些设置下可以帮助可辨识性，但在实际中可能过于严格。

局部 d-分离

定义（局部d-分离）：在因果图中，如果变量 和 之间的所有路径都被某个变量集合 阻塞，且 只包含观察变量，则 和 是局部d-分离的。

局部d-分离关系在观测空间中可以被检验，从而帮助辨识因果结构。

可辨识性的类型

弱可辨识性

如果 可以从 唯一确定，则称模型是弱可辨识的。

弱可辨识性意味着后验分布是可辨识的，但 本身的标记可能不确定。例如，如果 和 交换位置后产生相同的 ，则模型只是弱可辨识的。

强可辨识性

如果 本身（及其顺序）可以从 唯一确定，则称模型是强可辨识的。

强可辨识性需要更强的条件，例如：

  • 干预数据：do оператор 可以打破对称性
  • 稀疏结构：只有少数可能的因果配置
  • 多视图：多个观测模态可以相互验证

数学框架

线性情况的可辨识性

对于线性高斯模型：

给定 ， 在正交变换下是不可辨识的。

如果我们假设：

  1. 列独立性： 的列是正交的（）
  2. 非奇异性： 是对角正定的

则可以证明：

但 本身仍然无法唯一确定。

非线性情况

对于非线性生成模型 ，可辨识性问题更加严重。考虑以下情况：

即使 和 都已知， 和 仍然可能不可辨识。

例如，如果 是 的非线性变换，，则 和 产生相同的 。

干预下的可辨识性

干预数据可以帮助打破不可辨识性。考虑 do 操作：

干预后的分布可以帮助确定因果方向和因果机制。

可辨识性定理：如果我们可以观察到足够多样的干预分布 ，则可以辨识因果结构和因果机制。

训练与估计

变分方法

由于直接最大化对数似然 通常不可行，我们使用变分推断：

其中 是近似后验， 是解码器， 是因果先验。

可辨识性增强

为了增强可辨识性，我们可以：

  1. 添加结构约束：如因果稀疏性、机制独立性
  2. 使用干预数据：收集干预下的观测数据
  3. 多视图学习：利用多个观测模态
  4. 对比正则化：对比不同干预下的表示

识别算法

  1. 基于梯度的方法：通过优化损失函数来学习表示
  2. 基于搜索的方法：搜索可能的因果结构
  3. 混合方法：结合上述两种方法

推理与干预

后验推理

给定观测 ，推断因果变量 ：

在可辨识的情况下， 应该接近真实的 。

干预推理

干预某个因果变量 ：

干预后的预测：

反事实推理

反事实推理需要：

  1. 确定干预前的因果机制
  2. 应用干预
  3. 根据干预后的因果机制计算结果

在可辨识的情况下，反事实结果是明确定义的。

优点与局限

优点

  1. 理论基础：可辨识性为因果表示学习提供了理论保证
  2. 指导实践：可辨识性条件可以帮助设计学习算法
  3. 模型选择：可辨识性可以帮助比较不同的模型配置
  4. 解释性：可辨识的模型更容易解释

局限

  1. 条件严格：许多可辨识性条件在实践中难以满足
  2. 计算复杂：验证可辨识性条件通常需要大量计算
  3. 依赖假设：可辨识性依赖于额外的结构假设
  4. 不完备：即使满足可辨识性条件，也不能保证学到的表示是正确的

与其他笔记的联系

  • 因果表示学习基础：可辨识性是CRL的核心问题
  • 因果生成模型：可辨识性与生成模型紧密相关
  • 多视图CRL：多视图可以帮助打破不可辨识性
  • 部分可观测CRL：部分可观测增加了可辨识性的难度

可重现性笔记

代码实现要点

# 检查可辨识性的基本框架
def check_identifiability(model, data, interventions):
    """
    检查模型是否可辨识
    """
    # 1. 收集干预数据
    intervention_distributions = []
    for z_i, value in interventions:
        do_distribution = model.do_intervention(z_i, value)
        intervention_distributions.append(do_distribution)
 
    # 2. 检查是否可以从p(x|do(z_i))唯一确定因果机制
    for i, do_dist in enumerate(intervention_distributions):
        # 计算互信息或KL散度
        pass
 
    # 3. 可辨识性判断
    return is_identifiable

合成数据生成

# 生成已知可辨识性的合成数据
def generate_identifiable_data(n_samples, causal_graph, noise_std=0.1):
    """
    生成具有已知因果结构的合成数据
    """
    # 定义SCM
    # 生成数据
    # 返回数据和对应对果结构
    pass

章节总结

  • 一般情况下从 无法辨识 ，存在无穷多等价解
  • Sufficient Adjacency Condition (SAC) 是识别的关键条件之一
  • 最小生成模型假设帮助缩小解空间
  • 完备性条件要求因果机制可逆，但通常过于严格
  • 局部d-分离在观测空间中传递因果信息，可以用于辨识
  • 可辨识性需要额外的结构假设或干预数据
  • 弱解耦和准可辨识性是实际中的妥协方案
  • 无观察干预时仅从 无法区分因果方向
  • 干预数据可以打破对称性实现辨识
  • 可辨识性分为弱、强和完全可辨识性三个层次

关键词

identifiability, causal representation learning, sufficient adjacency condition, minimal generating model, completeness condition, local d-separation, weak identifiability, strong identifiability, intervention, observational equivalence

Graph View