Huajishe Notes

2-世界模型与因果模型的区别

8 min read

世界模型与因果模型的区别

一句话定位：对比分析标准世界模型（World Model）、结构因果模型（SCM）和因果表示学习（CRL）三种范式在表示、预测和干预能力上的本质区别，阐明为什么因果模型在反事实推理上有独特优势。

前置依赖：

核心思想

三种模型范式——标准世界模型、SCM、因果表示学习——都试图建模世界的某种结构，但它们的表示方式、预测能力和干预方式有根本差异。

标准 WM 是自回归生成模型，目标是预测下一步观测。 SCM 是因果机制模型，目标是支持反事实推理。 CRL 是将因果变量与深度表示结合的框架，目标是学习可解释、可干预的隐表示。

理解它们的区别才能知道在什么场景下该用哪种模型，以及为什么因果世界模型不是简单地把因果结构塞进 WM。

一、标准世界模型（World Model）

1.1 表示方式

标准 WM 使用统计表示（statistical representation）：

  • 隐状态 是观测序列的压缩表示
  • 通过自监督学习得到，不一定有因果语义
  • 不同维度的 之间可能有复杂依赖，不易解耦

1.2 预测方式

标准 WM 建模联合分布：

其中 是确定性或随机 RNN 更新。

预测是条件预测（conditional prediction）：给定当前观测和动作序列，预测下一个观测分布。

1.3 干预能力

标准 WM 不支持有效干预。如果我们对 进行 ：

  • 这不是训练数据支持的操作
  • 不知道如何响应这种干预
  • 预测结果可能不合理

二、结构因果模型（SCM）

2.1 表示方式

SCM 使用因果表示（causal representation）：

  • 每个变量由结构方程定义，变量之间有明确的因果边
  • 变量可以代表抽象概念（温度、压力），不一定是可直接观测的
  • 外生噪声 驱动随机性

2.2 预测方式

SCM 建模因果机制：

预测通过结构方程执行，给定父节点值，可以直接计算子节点值。

预测是因果预测：不是基于序列统计，而是基于因果机制。

2.3 干预能力

SCM 原生支持干预：

替换结构方程为

这使得反事实推理成为可能。

三、因果表示学习（CRL）

3.1 表示方式

CRL 介于两者之间：

  • 观测层：高维观测 （图像、传感器数据）
  • 因果层：低维因果变量 ，通过 encoder 获得
  • 的维度通常远小于 ，但每个维度应有因果语义

3.2 预测方式

CRL 结合了两种建模：

  • ：因果动态模型（SCM over ）
  • ：decoder（生成模型）

3.3 干预能力

CRL 的干预发生在因果层：

修改中的对应变量

Decoder 负责将干预后的 映射回观测空间。

四、三种模型的核心对比

维度标准 WMSCMCRL
表示类型统计表示因果表示因果+生成表示
预测基础序列统计因果机制因果动态+decoder
隐状态语义无明确语义有因果语义有因果语义（部分）
干预能力弱强中等
反事实推理不支持原生支持通过 层支持
可解释性低高中高
可扩展性高低（结构需设计）中（端到端学习）
数据需求高（大量序列）中（需要结构假设）中高

五、关键差异的数学本质

5.1 预测的本质区别

标准 WM：

因为 的父节点（比如 ）仍然在影响 。

SCM：

干预后分母变了，但预测方式更简单（因为父节点已知）。

5.2 可辨识性的区别

标准 WM 的表示 一般不可辨识——不同的 encoder 可能产生相同的预测分布。

CRL 在一定假设下（如 multi-view、sparsity）是部分可辨识的——因果变量 在可辨识性条件下有唯一解。

六、因果世界模型（CWM）的定位

CWM 是 CRL 在世界模型场景下的具体实现：

  • 层：因果变量 （可干预）
  • 动态模型：（因果机制）
  • 观测模型：（decoder）

CWM 的优势：

  • 反事实模拟能力（来自 的可干预性）
  • 跨域泛化能力（因果机制是环境不变结构）
  • 可解释性（ 有语义含义）

七、与前后内容的衔接

继承：

  • 2-结构因果模型SCM — SCM 是因果表示的原型
  • [3-因果表示学习基础/] — CRL 是将因果变量与深度学习结合的框架

解决：从表示、预测、干预三个维度系统地区分了三种模型范式。

引出：

章节摘要

  • 标准 WM：统计表示 + 序列预测，干预能力弱，不支持反事实
  • SCM：因果表示 + 因果机制，干预能力强，支持反事实推理
  • CRL：介于两者之间，通过 encoder 获得因果变量，支持因果层干预
  • 三种模型的核心差异：表示类型（统计 vs 因果）、预测基础（序列 vs 机制）、干预能力（弱 vs 强）
  • 因果世界模型是 CRL 在 WM 场景下的实现，结合了两者优势
  • 可辨识性：标准 WM 表示一般不可辨识，CRL 在假设下部分可辨识

关键词

标准世界模型 vs SCM vs CRL | 表示类型对比 | 预测基础对比 | 干预能力对比 | 可辨识性 | 因果世界模型定位

Graph View