Huajishe Notes

3-反事实生成与可解释性

19 min read

反事实生成与可解释性

一句话定位：反事实生成要求模型在保持因果一致性的前提下生成”如果…会怎样”的叙事，其核心困难在于可容反事实的判定、因果一致性维护和多模态评估指标匮乏，当前方法多停留于条件分布扰动而非真正的因果推理。

前置依赖：3-反事实推理基础 | 1-因果表示学习基础 | 1-反事实有效性评估

核心思想

反事实生成（counterfactual generation）回答的是”如果当初我做了一个不同的选择，结果会怎样”这类问题。与标准生成模型（如 GAN、VAE）不同，反事实生成要求的不仅是视觉或语义上的”逼真”，更重要的是因果层面的”一致性”——反事实叙事必须与已知事实共享所有不变的因果机制，仅在被干预的因果路径上产生差异。

为什么反事实生成不同于标准生成？ 标准生成模型以数据分布为目标：生成的样本只要来自相似的分布就算成功。但反事实生成以因果机制为目标：生成的样本必须对应于对底层因果结构的特定干预，而非随机采样。

举例：对于”如果我没有抽烟，肺癌会怎样”的反事实问题，标准的图片生成模型（如 DALL-E）可能生成一张”没有烟雾的肺”的图像——这在视觉上”逼真”，但完全不具备因果一致性，因为改变抽烟状态不仅影响烟雾，还影响细胞突变、氧化应激等多个中间变量，这些中间变量的改变应该进一步导致可见的表型变化。

反事实生成面临的挑战是多层面的：生成什么才算”可容的反事实”？如何保证因果一致性？如何评估反事实质量？这些问题目前都没有令人满意的答案。

一、反事实生成的本质区别

1.1 标准生成 vs 反事实生成

维度标准生成反事实生成
目标数据分布匹配因果机制一致性
变化来源随机采样特定因果干预
约束条件视觉/语义相似共享因果父节点
评估指标FID、IS 等因果一致性评分
可检验性视觉相似度可评估因果效应不可直接观测

1.2 可容反事实的判定

可容反事实（plausible counterfactual） 必须满足三个条件：

  1. 事实一致性（factual consistency）：当反事实条件取实际观测值时，生成结果应与观测事实一致。即：如果问”如果我当初抽烟（实际观测）“，生成结果应接近观测到的肺。
  2. 最小化变更（minimal change）：反事实变化应尽可能小——只改变必要的因果路径，保持其他所有机制不变。
  3. 因果合法性（causal validity）：生成的样本必须对应于一个有效的因果干预 ，而非简单地对输出变量”赋值”。

这三个条件通常相互制约——严格满足最小化变更可能导致因果合法性难以验证，而放松因果合法性又会导致”虚假反事实”（即虽然看起来合理，但实际上不对应任何真实的因果干预）。

1.3 反事实生成的算法流程

根据 Pearl 的反事实框架，反事实生成包含三步：

Step 1（查询）：已知事实 ，问”如果 ， 会变成什么？”

Step 2（溯因，abduction）：利用观测数据推断未观测变量 的后验分布：

这里 包括所有影响 但未被观测的噪声变量。

Step 3（预测，prediction）：在修改后的模型中执行 ，预测 ：

其中 是 后的 父节点值， 是 Step 2 得到的后验分布采样的噪声。

关键：这要求我们不仅知道因果图 ，还要知道具体的结构方程 （或至少其形式）。

二、因果一致性维护的挑战

2.1 什么是因果一致性

因果一致性（causal consistency） 要求：反事实叙事中的所有变量都被同一因果结构产生，不存在”无中生有”的变化。

形式化地说，设底层 SCM 为 ，反事实 满足：

即每个变量的反事实值都由同一结构方程产生，只是输入（父节点和噪声）被相应修改。

2.2 实践中的因果一致性失败

当前方法的主要问题：大多数”反事实生成”方法实际上只是条件分布扰动（conditional distribution perturbation），而非真正的因果推理。

举例：假设有数据集 ，其中 是图像（显示一个人是否在抽烟）， 是健康评分。一个”反事实生成”方法可能是：训练一个条件 VAE，使得 可以通过改变 VAE 的条件输入来估计。

问题：即使模型能生成 下的图像，它也不知道抽烟影响健康的因果机制——它只是学习了 ，而非 。当存在未观测混杂时（如遗传因素同时影响抽烟倾向和健康评分），这种”反事实”将是有偏的。

2.3 多模态反事实的一致性困难

多模态反事实：例如，对于同一条新闻事件，可能生成文本描述、视频片段、音频解说等多个模态的反事实版本。

多模态一致性要求：不同模态的反事实必须对应相同的因果干预。例如，“如果当初我没有迟到”这一干预，在视频模态中应体现为”准时到达的场景”，在文本模态中应体现为”准时到达的描述”，两者必须因果一致。

当前方法的局限：多模态生成通常各自独立训练，没有跨模态因果一致性约束。

三、反事实质量的评估指标

3.1 现有评估指标的问题

标准生成模型的评估指标（FID、IS、Precision、Recall 等）衡量的是生成分布与真实分布的相似度，无法评估因果一致性。

一个简单的例子：假设真实数据由 SCM （ 独立）生成。如果一个生成模型完美学到 但对 增加独立噪声 ，则 FID 可能略有上升，但模型完全无法回答反事实问题——因为它没有学到因果机制 ，只学到了条件分布。

3.2 理想评估指标的要求

一个理想的反事实质量评估指标应满足：

  1. 因果一致性检验：验证生成的样本是否满足底层因果约束
  2. 最小变更检验：验证反事实变化是否仅在被干预路径上发生
  3. 可容性检验：验证反事实是否满足事实一致性条件
  4. 分布敏感性：对有效因果干预产生显著变化，对无效干预保持稳定

3.3 当前探索的评估方法

反事实有效性评分（CES）：一种启发式评估方法，计算生成分布与真实分布在关键因果路径上的差异。但 CES 的计算依赖于已知因果图，这在实践中通常不成立。

介入评分（Intervention Score）：通过执行随机干预并检查生成样本在对应变量上的变化来评估因果一致性。但这种方法假设我们可以识别哪些生成变化对应哪些因果变量——这个假设本身就极强。

反事实可比性（Counterfactual Comparability）：检验在相同事实基础上，不同反事实查询是否产生可比较的结果。例如，“如果我没有抽烟”和”如果我减少了一半的抽烟”应该有”量级上可比较”的差异。

3.4 开放评估指标问题

以下问题尚无成熟解决方案：

  1. 如何在没有真实因果图的情况下评估因果一致性？
  2. 如何衡量”合理的反事实”和”虚构的反事实”之间的差异？
  3. 如何评估反事实的解释价值（explanatory power）？
  4. 如何处理反事实的多个等效版本（如多种方式改变抽烟习惯）？

四、可解释性框架下的反事实

4.1 反事实作为解释

反事实解释（counterfactual explanation）是可解释 AI 的核心方法之一。与特征重要性（feature importance）等方法不同，反事实解释通过”如果某个特征改变，结果会怎样”的方式帮助用户理解决策边界。

典型框架：假设模型决策为 ，反事实解释的任务是找到最小变化的输入 ，使得 。这等价于找到一个最小干预 ，使得 跨越决策边界。

4.2 因果一致的解释要求

当前的反事实解释方法存在因果一致性问题：

问题：许多方法（如 Wachter et al. 2017 的反事实解释）通过优化以下目标生成反事实：

这等价于寻找一个输入扰动 ，使得模型输出改变。但这个扰动 可能不对应任何真实的因果干预——它可能同时改变多个因果上独立的变量。

结果：生成的”反事实解释”可能告诉用户”如果你年轻10岁且没有这个基因突变，你就会获得贷款”——但年轻10岁和基因突变是因果上独立的改变，同时改变两者不是任何单一因果干预可以实现的。

4.3 因果解释的缺失

理想的因果解释应满足：

  • 每个改变都是单一因果变量的干预的结果
  • 改变之间相互独立（对应不同因果路径）
  • 改变序列可以组合（对应因果干预的可叠加性）

当前方法无法保证上述性质，因为它们缺乏对底层因果结构的建模。

五、生成式反事实推理的前沿方法

5.1 CLUE（Closed-Loop反事实）

CLUE 方法通过迭代优化生成反事实实例，同时保持因果一致性。核心思想是在生成过程中引入因果约束：

其中 是因果一致性惩罚项， 是可容性惩罚项。

5.2 Growing CAusal VAE

GCAVE 方法通过变分框架学习因果表示，生成反事实时只对目标因果变量施加干预，保持其他变量不变。关键创新是引入因果图结构作为变分后验的先验。

5.3 DiCE（Diachronic Counterfactual Explorer）

DiCE 针对时序数据设计，生成跨时间的反事实叙事。通过维护一个时序因果图，DiCE 可以生成”如果当初某个早期事件改变，晚期结果会怎样”的时间序列版本。

5.4 多模态反事实生成

多模态挑战：不同模态（图像、文本、语音）需要对应相同的底层因果干预，但各模态的生成机制完全不同。

当前方法：使用共享的因果表示空间 ，不同模态的 decoder 从 生成各自的观测。这种方法理论上保证了因果一致性，但 是否真正因果仍依赖可识别性假设。

六、与前后内容的衔接

继承：3-反事实推理基础 和 1-反事实有效性评估 提供了反事实推理的形式化框架和评估基础

解决：深入分析反事实生成与标准生成的根本区别、因果一致性维护的困难、评估指标的开放问题

引出：

章节摘要

  • 反事实生成与标准生成的根本区别在于目标不同：前者追求因果机制一致性，后者追求数据分布匹配
  • 可容反事实需满足事实一致性、最小化变更、因果合法性三个条件，三者通常相互制约
  • Pearl 的反事实框架包含查询-溯因-预测三步，要求已知因果图和结构方程
  • 实践中大多数”反事实生成”只是条件分布扰动，而非真正的因果推理
  • 多模态反事实要求不同模态对应相同的因果干预，当前缺乏跨模态因果一致性约束
  • 现有评估指标（FID、IS 等）无法评估因果一致性，需要新的评估框架
  • 反事实解释是可解释 AI 的核心方法，但当前方法缺乏因果一致性保证
  • 反事实解释中的”最小变化”定义应基于因果结构，而非欧氏距离
  • 因果一致的解释要求每个改变都是单一因果变量干预的结果，且可组合
  • 评估反事实质量的核心开放问题：如何在没有真实因果图的情况下评估因果一致性
  • 生成式反事实推理的前沿方向包括 CLUE、GCAVE、DiCE 等方法
  • 多模态反事实的一致性生成依赖共享因果表示空间，但表示的因果意义仍待验证

关键词

反事实生成 | 可容反事实 | 因果一致性 | 事实一致性 | 最小变更 | Pearl 反事实框架 | 溯因 | 预测 | 条件分布扰动 | 多模态反事实 | 反事实有效性评估 | CES | 介入评分 | 反事实解释 | 可解释 AI | CLUE | GCAVE | DiCE

Graph View