Huajishe Notes

1-因果辅助探索

9 min read

因果辅助探索

定位

本篇笔记探讨如何利用因果模型增强强化学习中的探索策略，重点介绍反事实好奇心（counterfactual curiosity）和因果 surprise 作为内在奖励信号，引导智能体更有效地探索环境。

前置知识

  • 强化学习探索策略：-greedy、UCB、熵正则化
  • 因果推断基础：do算子、反事实推理
  • 内在奖励（intrinsic motivation）基础

核心直觉

传统探索方法（如 -greedy、噪声网络）将探索视为随机扰动。因果辅助探索的核心思想是：让智能体”好奇”那些它还不理解其因果效应的部分。

具体而言，智能体应该对以下情况感到”好奇”：

  1. 反事实好奇心：想象”如果我采取不同的动作，结果会怎样？“——当实际结果与想象结果不符时，产生奖励
  2. 因果 surprise：当某个动作的因果效应超出预期时，产生奖励

举例：智能体学习推动物体，如果它还不理解”力的大小”与”物体移动距离”的因果关系，它应该主动尝试不同的力度来学习这个关系。

数学框架

问题定义

给定MDP ，假设存在底层因果结构。探索目标是：

其中 为因果内在奖励。

反事实好奇心

反事实结果预测：对每个状态-动作对 ，智能体预测如果采取动作 会发生什么：

其中 为反事实预测模型。

反事实好奇心奖励：

这衡量的是实际结果与反事实预测之间的差异。

因果 surprise

因果 surprise 定义：

设 为外生变量的先验分布， 为给定观测推断的后验分布。定义因果 surprise 为：

使用变分近似：

简化的 surprise 计算：

第二项为条件预测（不考虑因果干预），第一项为因果干预预测，差异代表因果 surprise。

混合内在奖励

其中 为权重参数。

算法框架

因果探索算法（CEXP）

def causal_exploration(s_t, a_t, s_{t+1}, θ):
    # 1. 反事实预测
    for a_prime in action_space:
        s_pred[a_prime] = f_CF(s_t, a_prime, θ)
 
    # 2. 计算反事实好奇心
    r_CF = mean_squared_error(s_{t+1}, s_pred[a_t for a_prime != a_t])
 
    # 3. 计算因果 surprise
    p_causal = p_model(s_{t+1} | do(a_t), s_t)
    p_correl = p_model(s_{t+1} | a_t, s_t)
    r_surprise = kl_divergence(p_causal, p_correl)
 
    # 4. 混合奖励
    r_intrinsic = α * r_CF + β * r_surprise
 
    return r_intrinsic

因果好奇驱动的探索策略

这相当于在softmax策略中加入 surprise 项。

训练与估计细节

反事实预测模型训练

变分自编码器框架：

设 为潜在因果变量，编码器 ，解码器 。

反事实预测：

损失函数：

因果模型训练

因果转移模型 通过干预数据训练：

需要收集干预数据（而非仅观测数据）来训练因果模型。

在线更新

探索过程中持续更新因果模型：

for each episode:
    collect_trajectories_with_intervention()
    update_causal_model(p_ψ)
    update_CF_model(f_CF)
    update_exploration_policy(π)

推理/干预/反事实过程

反事实想象

智能体在采取动作前进行反事实模拟：

然后选择：

其中 由反事实预测的方差估计。

因果干预实验

智能体可以主动干预以减少因果不确定性：

其中 估计干预 能带来的因果知识增量。

探索-利用权衡

因果探索自然地平衡探索与利用：

  • 高surprise区域：鼓励探索
  • 低surprise区域：依赖Q值引导

优势与局限

优势

  1. 结构化探索：因果模型将探索引向有意义的因果关系
  2. 样本效率：因果好奇心减少无效探索，更快学习
  3. 可解释性：探索动机可追溯到具体的因果问题
  4. 跨任务迁移：因果知识可跨任务复用
  5. 与任务目标对齐：内在奖励与外在奖励自然结合

局限

  1. 因果模型准确性：依赖准确的因果模型
  2. 计算开销：反事实推理增加了计算成本
  3. 探索过度：可能过度探索低奖励的因果关系
  4. 部分可观测性：无法观测所有相关变量时因果建模困难
  5. 非平稳环境：环境变化时因果模型可能失效

与其他笔记的关联

  • 前置：因果强化学习综述 A（2-因果强化学习综述/1-CRL综述A）— 因果探索基础
  • 基础：因果与RL的接口（1-因果与RL的接口）— 因果RL框架
  • 扩展：因果策略泛化（4-因果决策/2-因果策略泛化）— 因果探索与泛化结合
  • 深化：因果视角下的可解释RL（3-解释性RL/1-因果视角下的可解释RL）— 因果探索的解释

可复现性说明

关键论文与代码

论文年份代码
Counterfactual Curiosity (Shibata et al.)2021https://github.com/…
Causal Surprise for Exploration2022https://github.com/…
Info-Gain Exploration via Causal Interventions2023https://github.com/…

实验环境

  • Python 3.8+
  • PyTorch 1.8+
  • MiniGrid、Atari 2600
  • causal-learn 库

本章小结

  • 因果辅助探索利用因果模型指导RL中的探索策略
  • 反事实好奇心通过比较实际结果与反事实预测来激励探索
  • 因果 surprise 通过测量因果预测与条件预测的差异来量化不确定性
  • 混合内在奖励结合两种机制实现更有效的探索
  • 因果探索相比随机探索更加结构化、样本效率更高
  • 主要挑战包括因果模型准确性、计算开销和探索过度
  • 应用场景：机器人技能学习、游戏AI、环境探索

关键词

因果探索、反事实好奇心、因果 surprise、内在奖励、主动学习、因果建模、探索-利用权衡、反事实推理、干预实验、不确定性量化

Graph View