Huajishe Notes

1-因果视角下的可解释RL

10 min read

因果视角下的可解释RL

定位

本篇笔记从因果视角探讨强化学习决策的可解释性问题，利用因果图结构分析状态-动作转移的因果机制，解释Q值构成与决策依据，为智能体决策提供透明、可理解的解释。

前置知识

  • 强化学习基础：Q-learning、DQN、策略梯度
  • 因果图基础：结构因果模型（SCM）、因果路径、do算子
  • 可解释机器学习基础：特征重要性、注意力可视化

核心直觉

传统RL中，Q值是一个黑箱数字，我们只知道”动作A的Q值高”，但不知道”为什么”。因果视角的核心洞察是：将Q值分解为可追溯的因果贡献，每个状态变量的因果贡献清晰可查。

举例：当智能体选择向左转时，我们不仅知道”向左转的Q值=8.5”，还能解释”因为左边有一个金币（贡献+3），而且左边相对安全（贡献+5.5）“。

数学框架

因果图定义

设RL环境的状态空间为 ，每个 为一个状态因素。动作空间为 。定义因果图 ：

其中 为奖励节点。

因果边： 表示状态因素 对 的因果影响 动作边： 表示动作 对状态因素 的因果影响 奖励边： 或 表示因果贡献

因果Q值分解

给定因果图 ，Q值可以分解为：

其中：

  • ：节点 到奖励 的因果路径注意力
  • ：节点 在当前状态-动作下的值

路径注意力的计算：

对于因果图中的每条路径 ，定义路径权重：

其中 为边权重，由训练得到。

因果路径分析

直接因果效应：

间接因果效应（通过中间节点）：

其中 为中介因子。

因果奖励贡献分解

对于给定的状态-动作对 ，每个状态因素 的奖励贡献为：

其中 为基线值（如均值或参考值）。

总奖励可以表示为：

其中 为未解释残差。

因果Q值解释算法

算法：因果Q值分解（Causal Q-Decomposition, CQD）

输入：因果图 ，当前状态 ，候选动作 ，策略

输出：每个状态因素的Q值贡献

步骤：

  1. 构建干预图：对每个动作 ，构建干预后的因果图
  2. 计算因果效应：对每个状态因素 ，计算
  3. 传播到Q值：
  4. 归一化：
  5. 返回：

归因公式：

算法复杂度

  • 时间复杂度： 用于图遍历
  • 空间复杂度： 用于存储中间结果

训练与估计细节

因果图学习

从数据中学习因果图结构，使用PC算法或其变体：

def learn_causal_graph(trajectories):
    # 输入：轨迹数据 D = {(s_t, a_t, r_t, s_{t+1})}
    # 输出：因果邻接矩阵 A
 
    # 1. 构建条件独立性测试
    for (X, Y) in pairs:
        Z = set of separators
        if is_conditionally_independent(X, Y | Z):
            A[X, Y] = 0
        else:
            A[X, Y] = 1
 
    # 2. 方向确定
    for (X, Y) with A[X, Y] = 1:
        orient_edges(X, Y, v-structures)
 
    # 3. 返回因果图
    return A

因果贡献估计

使用干预实验估计因果贡献：

其中 表示替换操作， 为采样次数。

注意力权重训练

其中 为节点表示，通过反向传播学习。

推理/干预/反事实过程

当前状态解释

给定当前状态 ，生成决策解释：

对于动作 a* = argmax_a Q(s_t, a):
    分解 Q(s_t, a*) = Σ c_i
    找出最重要的因果因素：top_k(c_i)
    生成自然语言解释

反事实解释

反事实查询：“为什么选择了动作 而不是 ？”

计算：

找出导致差异最大的因果因素：

干预分析

分析如果某个状态因素发生变化，决策会如何改变：

优势与局限

优势

  1. 透明的决策依据：每个Q值分解为可理解的因果贡献
  2. 反事实解释能力：可以解释”为什么选择A而非B”
  3. 诊断能力：可以识别导致次优决策的因果因素
  4. 与领域知识结合：因果图可以融入先验知识
  5. 指导改进：指出哪些状态因素需要更准确地学习

局限

  1. 因果图学习困难：从有限数据学习准确因果图仍具挑战
  2. 计算开销：因果分解增加了推理计算量
  3. 歧义性：多条因果路径可能导致贡献分解不唯一
  4. 假设限制：假设因果图已知或可准确学习
  5. 非线性挑战：非线性因果关系的贡献分解更复杂

与其他笔记的关联

  • 前置：因果与RL的接口（1-因果与RL的接口）— 因果RL基础
  • 基础：因果强化学习综述 A（2-因果强化学习综述/1-CRL综述A）— 四类方法
  • 深化：因果链解释（3-解释性RL/2-因果链解释）— 因果链提取方法
  • 应用：因果辅助探索（4-因果决策/1-因果辅助探索）— 因果探索中的解释
  • 泛化：因果策略泛化（4-因果决策/2-因果策略泛化）— 因果策略可解释性

可复现性说明

关键论文与代码

论文年份代码
Causal Q-Decomposition (Madumal et al.)2020https://github.com/…
Explainable RL via Causal Reasoning2021https://github.com/…
Causal Attention for RL (this work)2022https://github.com/…

实验环境

  • Python 3.8+
  • PyTorch 1.8+
  • Minigrid / Atari 环境
  • causal-learn 库

本章小结

  • 因果视角为RL决策提供了透明的解释机制
  • Q值可以分解为各状态因素的因果贡献，通过路径注意力加权
  • 因果Q值分解（CQD）算法实现了解释的自动化
  • 反事实解释能力使智能体能够回答”为什么而非”的问题
  • 因果图的学习是解释准确性的关键瓶颈
  • 主要应用场景：自动驾驶解释、机器人决策解释、医疗决策支持
  • 当前局限包括因果图学习困难、计算开销和非线性挑战

关键词

可解释强化学习、因果Q值分解、因果路径分析、决策解释、反事实解释、因果注意力、状态因素贡献、奖励归因、因果图、解释生成

Graph View