Huajishe Notes

1-LLM与因果世界模型

9 min read

概述与定位

一句话定位: 大语言模型包含丰富的因果知识，可以作为因果先验指导因果世界模型的学习和推理，实现语言条件的因果推理。

** prerequisites **

  • 大语言模型基础（GPT、LLaMA、Transformer）
  • 因果推断基础（因果图、do算子）
  • 世界模型基础（Dreamer、World Models）
  • Prompt工程基础

核心直觉

大语言模型（LLM）在海量文本中学习到了一般的因果知识——“加热会使水沸腾”、“推力使物体运动”。这些因果知识可以作为因果先验，指导因果世界模型的学习过程，减少对大规模干预实验的依赖。

LLM提供因果知识的核心直觉：虽然LLM不能直接进行因果推断，但其参数化存储了文本中蕴含的因果关系。例如，当prompt提到”因为道路湿滑”时，LLM知道这会导致”车辆打滑”。这些因果知识可以作为结构先验初始化因果图。

语言条件因果推理的核心直觉：自然语言可以指定因果问题（“什么导致下雨？“）或因果干预（“如果不下雨会怎样？”）。LLM可以将语言查询转化为因果查询，指导因果世界模型进行推理。

数学推导

变量定义

设文本查询 ，因果变量集合 ，因果图 。LLM记为 ，因果世界模型记为 。

LLM作为因果先验

LLM的因果知识可以通过两种方式提取：

方式1：文本因果分析

给定查询 和候选因果变量集 ，LLM输出因果图结构：

其中 是LLM的logit输出。

方式2：因果问答

通过问答提取因果关系：

语言条件因果推理

给定语言查询 ，构建语言条件因果世界模型：

其中 是由LLM先验引导的因果图。

因果知识融合

将LLM因果先验 与数据驱动因果发现 融合：

使用贝叶斯融合或加权平均：

训练与估计

训练流程

  1. 因果知识提取: 从LLM提取候选因果图结构
  2. 因果图筛选: 使用数据条件独立性测试筛选有效因果边
  3. 因果WM训练: 基于筛选后的因果图训练因果世界模型
  4. 语言条件推理: 给定语言查询进行条件因果推理

LLM因果知识提取方法

结构化prompt模板：

Given the following variables: [list variables]
What are the causal relationships between them?
Draw the causal graph in DOT format.

因果问答对：

Q: "Does temperature affect ice melting?"
A: "Yes, higher temperature causes ice to melt faster."

因果先验融合

融合方式公式适用场景
贝叶斯融合数据稀缺
加权平均置信度高
结构约束明确因果方向

估计细节

  • LLM选择: GPT-4或LLaMA-2等大模型因果知识更丰富
  • 温度参数: 控制采样多样性
  • 融合权重: 根据数据量调整

反事实与干预过程

干预操作

语言条件因果WM支持语言引导的干预：

  1. 语言干预查询 设置温度为度: 将自然语言转化为干预操作
  2. 反事实查询 : 生成反事实问题
  3. 因果解释生成: 生成”因为…所以…”的自然语言解释

反事实推理流程

给定语言反事实查询：

  1. 解析: LLM解析查询识别因果变量和干预值
  2. 干预: 在因果WM中执行对应的 -intervention
  3. 预测: 因果WM预测干预后状态
  4. 生成: LLM将预测结果转化为自然语言回答

因果解释生成

基于因果图和干预结果生成解释：

优点与局限

优点

  • 减少数据依赖: LLM因果知识减少干预实验需求
  • 可解释性强: 自然语言因果解释易于理解
  • 泛化能力强: LLM的因果知识可以泛化到新领域
  • 人机交互: 自然语言接口便于用户引导因果推理

局限

  • 幻觉风险: LLM可能生成不准确的因果知识
  • 无法保证正确性: 语言因果知识未经验证
  • 粒度不匹配: 语言描述的因果粒度可能与因果WM不匹配
  • 静态知识: LLM因果知识基于训练数据，可能过时

与其他笔记的连接

复现注意事项

关键实现点

  1. Prompt设计: 使用结构化prompt提取高质量因果知识
  2. 因果验证: 使用条件独立性测试验证LLM提取的因果边
  3. 融合权重调节: 根据下游任务表现调节
  4. 解释后处理: 使用规则过滤或二次验证确保因果解释合理

常见问题

  • LLM幻觉: 因果边与数据不符，使用数据驱动筛选
  • 粒度粗糙: LLM只提供粗粒度因果，需要细分
  • 冲突先验: LLM先验与数据冲突时，优先信任数据

超参数参考

参数典型值
LLM温度 0.1-0.3
融合权重 0.3-0.7
因果边阈值0.5-0.8
解释生成长度50-200 tokens

本章要点总结

  • LLM包含丰富的因果知识可作为因果先验
  • 语言条件因果推理通过自然语言引导因果WM
  • 贝叶斯融合或加权平均结合LLM先验与数据
  • LLM因果知识减少干预实验数据需求
  • 结构化prompt是提取高质量因果知识的关键
  • 因果解释生成增强人机交互体验
  • LLM幻觉风险需要数据验证
  • 语言因果粒度可能与因果WM不匹配
  • 开放研究方向：动态因果知识更新
  • LLM作为因果知识库是重要研究方向

关键词

大语言模型 因果世界模型 语言条件因果推理 因果知识 因果先验 因果知识融合 自然语言接口 反事实推理 因果解释 LLM

Graph View

Backlinks