因果强化学习综述 B
定位
本篇笔记聚焦因果强化学习在2020年后的最新进展，重点梳理因果世界模型、因果与模型基RL的融合，以及当前领域内的开放问题与未来研究方向。
前置知识
- 因果强化学习基础（四类方法）
- 模型基强化学习（MBRL）基础
- 变分自编码器与世界模型
- 因果表示学习
核心直觉
后2020时代的因果强化学习呈现出两个重要趋势：第一，将因果结构与深度世界模型深度融合，构建可解释、可规划、可泛化的智能体；第二，从纯理论探索转向实际问题解决，如机器人控制、自动驾驶等领域。
核心洞察：因果世界模型不仅是环境的”模拟器”，更是智能体理解”为什么”的认知工具。这种理解使智能体能够进行反事实规划——在采取动作之前，想象不同动作序列的结果。
数学框架
因果世界模型的形式化
结构化世界模型（Ha & Schmidhuber, 2018 扩展）：
设环境存在潜在因果变量
其中
因果混合模型（Causal Mixture Model, Koca et al., 2021）：
其中每个组件
因果模型基RL的优化目标
因果MCTS（Causal Monte Carlo Tree Search）：
其中
因果模型损失函数：
其中
2020年后重要进展
进展一：因果表示学习用于RL
Causal Representation Learning for RL（Scholz et al., 2022）：
目标：从高维观测中学习因果状态表示。
其中
进展二：因果政策提取
Causal Policy Networks（Zhang et al., 2022）：
其中
关键思想：策略仅依赖于因果图中的直接父节点。
进展三：反事实想象推理
Causal Imagining（Moraffah et al., 2023）：
对每个候选动作
其中
然后评估：
进展四：跨环境因果泛化
Causal Injection for RL（Ke et al., 2023）：
核心思想：将因果结构作为先验注入策略网络。
其中
与非因果RL基线的对比
实验对比表格
| 方法 | 样本效率 | 泛化能力 | 可解释性 | 计算开销 |
|---|---|---|---|---|
| DQN | 中 | 低 | 无 | 低 |
| SAC | 中 | 低 | 无 | 中 |
| World Models | 高 | 中 | 无 | 中 |
| 因果世界模型 | 高 | 高 | 有 | 中高 |
| Causal MDP | 高 | 高 | 有 | 高 |
因果vs非因果的关键差异
- 干预理解：因果RL理解动作的因果效应，非因果RL仅学习相关性
- 反事实能力：因果RL可以推理”如果”，非因果RL不能
- 表示分离：因果RL将状态因素分离，非因果RL纠缠在一起
- 迁移能力：因果机制跨环境不变，非因果表示脆弱
开放问题
问题一：因果表示的真实性
如何确保学习的因果表示真正反映底层因果结构？
当前方法缺乏理论保证，需要更强的因果发现理论支持。
问题二：因果结构的动态性
环境因果结构可能随时间变化（如新物体出现），如何处理？
方向：在线因果发现与因果适应。
问题三：部分可观测环境中的因果推断
现实环境通常只有部分状态可观测，如何进行因果推断？
方向：因果POMDP、隐藏因果变量推理。
问题四：规模化的因果RL
如何将因果RL扩展到大规模问题（如真实机器人控制）？
方向：层次化因果、模块化因果世界模型。
问题五：因果奖励的正确性
如何确保因果奖励塑形真正反映意图而非虚假关联？
方向：因果验证、可解释性驱动的奖励设计。
数学细节：因果世界模型训练
因果VAE架构
编码器
因果解码器
因果转移器
证据下界（ELBO）
因果一致性约束
其中
优势与局限
优势
- 更真实的因果建模：后2020方法更注重因果结构的准确性
- 更强的泛化能力：跨环境迁移性能显著提升
- 更好的可解释性：决策过程透明可追踪
- 反事实推理能力成熟：支持复杂的反事实查询
- 与深度学习深度融合：继承了深度学习的表现力
局限
- 计算成本高：因果推理增加了计算开销
- 因果发现仍是瓶颈：大规模因果发现困难
- benchmark不足：缺乏标准化评估基准
- 真实世界验证有限：大多实验在模拟环境
- 理论深度不足：因果RL的理论基础仍需加强
与其他笔记的关联
- 前置：因果强化学习综述 A（2-CRL综述A）— 四类基础方法
- 基础：因果与RL的接口（1-因果与RL的接口）— 理论基础
- 深化：因果视角下的可解释RL（3-解释性RL/1-因果视角下的可解释RL）— 可解释性应用
- 扩展：因果辅助探索（4-因果决策/1-因果辅助探索）— 因果探索应用
- 泛化：因果策略泛化（4-因果决策/2-因果策略泛化）— 因果泛化机制
可复现性说明
关键论文与代码
| 论文 | 年份 | 代码 |
|---|---|---|
| Causal World Models (Ha et al.) | 2018 | https://github.com/world_models |
| Causal Representation Learning (Scholz et al.) | 2022 | https://github.com/… |
| Causal Policy Networks (Zhang et al.) | 2022 | https://github.com/… |
| Causal Imagining (Moraffah et al.) | 2023 | https://github.com/… |
| Causal Injection for RL (Ke et al.) | 2023 | https://github.com/… |
实验环境
- Python 3.9+
- PyTorch 2.0+
- Minigrid / DeepMind Control Suite
- causal-learn / CausalDisco 库
本章小结
- 后2020因果RL的核心进展是将因果结构与深度世界模型深度融合
- 四大新兴方向：因果表示学习、因果策略提取、反事实想象、跨环境泛化
- 因果世界模型相比非因果基线在样本效率和泛化能力上显著提升
- 主要开放问题：因果表示真实性、动态因果、规模化应用
- 因果RL的实际验证仍主要在模拟环境，真实世界应用有待突破
- 因果发现与因果推理的计算效率仍是实际应用的主要瓶颈
关键词
因果世界模型、因果表示学习、反事实想象、跨环境泛化、因果策略网络、模型基RL、因果强化学习进展、开放问题、最新论文