Huajishe Notes

2-规划中的反事实模拟

10 min read

概述与定位

一句话定位: 因果世界模型支持在规划过程中进行反事实模拟，通过”想象”不同动作序列的结果来实现样本高效的模型预测控制。

** prerequisites **

  • 模型预测控制基础（MPC）
  • 强化学习基础（策略搜索、值函数）
  • 因果推断基础（do算子、反事实概率）
  • 世界模型基础（PlaNet, Dreamer）

核心直觉

在物理世界中执行动作需要代价高昂的试错学习。模型预测控制（MPC）通过学习世界模型来模拟未来状态，减少物理世界试错。但标准MPC只进行条件预测——“如果执行动作序列 会怎样”。反事实模拟进一步增强MPC，允许”如果某个因果因子取不同值会怎样”。

为什么需要反事实的核心直觉：物理世界中存在多个混杂因素影响结果，如机器人抓取失败可能是”位置偏差”、“力度不足”或”物体材质”共同作用。标准MPC只能评估总体策略效果，而反事实MPC可以隔离每个因素的影响，指导更精准的策略调整。

反事实MPC的核心直觉：将MPC的规划过程分解为两个层次——（1）条件层：评估不同动作序列的结果；（2）反事实层：评估改变特定因果因子后的结果。这使得规划器可以回答”通过调整力度而非位置来改善结果是否可行”。

数学推导

标准MPC formulation

MPC通过优化动作序列来最大化累积回报：

其中 是学习的世界模型， 是规划 horizon。

反事实MPC formulation

扩展标准MPC为反事实MPC：

反事实状态：给定当前状态 和反事实假设 （因果因子的干预值），定义反事实状态：

其中 是从干预值到状态的映射。

反事实规划目标：

subject to:

因果感知的MPC

使用因果世界模型增强MPC，因果分解的转移函数：

规划时，对每个因果因子独立评估贡献：

对比：标准MPC vs 反事实MPC

方面标准MPC反事实MPC
预测类型条件预测 干预预测
策略评估总体策略效果因子级贡献分解
干预能力只能干预动作可干预任意因果因子
计算成本

反事实rollout

定义长度为 的反事实 rollout：

其中：

反事实回报：

训练与估计

因果世界模型训练

  1. 因果变量识别: 从状态中识别因果变量集合
  2. 因果结构学习: 学习因果图 描述变量间关系
  3. 因子分解建模: 对每个条件分布独立建模
  4. 干预接口实现: 实现 -intervention 操作

反事实MPC估计

给定当前状态 ，执行反事实MPC：

  1. 因果因子采样: 对每个因果因子 采样干预值
  2. 反事实rollout: 对每个干预组合执行 rollout
  3. 回报评估: 评估每个反事实策略的累积回报
  4. 策略选择: 选择回报最高的反事实策略执行

估计细节

  • 干预值采样: 使用均匀分布或高斯分布
  • Rollout数量: 每个因果因子 10-50 个干预值
  • 并行计算: 反事实rollout可并行加速

反事实与干预过程

干预操作

反事实MPC支持多层干预：

  1. 动作干预 : 评估不同动作序列
  2. 状态干预 : 评估不同初始状态
  3. 因果因子干预 : 评估特定因子变化的影响
  4. 混杂干预 : 评估混杂因素影响

反事实规划流程

Algorithm: Counterfactual MPC
Input: Current state s_t, Causal WM f_G, Policy π
Output: Action sequence a_t:t+H

1. Encode s_t to causal factors c_t
2. For each causal factor c^(i):
   a. Sample intervention values {bar_c^(i)_1, ..., bar_c^(i)_M}
   b. For each intervention value:
      i. Apply intervention do(c^(i) = bar_c^(i)_m)
      ii. Perform rollout using f_G
      iii. Compute counterfactual return Q^cf_m
   c. Compute factor contribution ΔQ^(i)
3. Select action sequence maximizing Q^cf
4. Return a_t (first action of selected sequence)

反事实与标准规划对比

场景标准MPC反事实MPC
抓取失败诊断”尝试其他抓取姿势""增加力度 vs 调整位置”
运动规划”规划路径A vs 路径B""障碍物影响 vs 速度影响”
任务泛化”新任务重新学习""因果因子调整”

优点与局限

优点

  • 样本高效: 减少物理世界试错次数
  • 因子级诊断: 分解策略效果到各因果因子
  • 指导策略探索: 识别最有潜力的改进方向
  • 混杂分析: 分离混杂因素影响

局限

  • 因果模型精度: 依赖因果世界模型的准确性
  • 组合爆炸: 多个因果因子的组合导致计算爆炸
  • 干预接口复杂: 需要精确实现干预操作
  • 部分可观测: 真实场景中因果变量可能不可直接观测

与其他笔记的连接

复现注意事项

关键实现点

  1. 干预接口: 实现算子的图网络版本
  2. 因果因子识别: 定义可干预的因果因子集合
  3. 并行rollout: 使用批处理并行执行反事实rollout
  4. 结果缓存: 缓存常用干预的结果加速规划

常见问题

  • 因果模型偏差: 反事实结果可能不准确，使用置信度加权
  • 计算爆炸: 限制干预数量或使用重要性采样
  • 状态估计误差: 反馈回路中误差累积，使用收缩映射控制

超参数参考

参数典型值
规划 horizon 5-20
每个因子干预数 10-50
候选策略数 20-100
因子数量 5-15

本章要点总结

  • 反事实MPC支持对特定因果因子的规划
  • 因果分解将策略效果归因到各因果因子
  • 反事实模拟减少物理世界试错次数
  • 对比标准MPC和反事实MPC的核心差异
  • 干预操作是反事实推理的基础
  • 因子级诊断揭示策略改进方向
  • 计算效率是反事实MPC的主要挑战
  • 并行计算加速反事实rollout
  • 因果模型精度决定反事实规划质量
  • 反事实MPC是样本高效规划的重要方法

关键词

反事实模拟 模型预测控制 因果世界模型 反事实MPC 规划 干预 样本高效 因果分解 反事实规划 因子级诊断

Graph View

Backlinks