Huajishe Notes

1-世界模型

7 min read

Model-based RL（世界模型）

1. Model-based RL 的基本框架

1.1 世界模型（World Model）的定义

在 Model-based RL 中，我们构建一个世界模型（World Model）来学习环境的动力学：

状态转移函数 奖励函数

其中 为状态， 为动作， 为奖励。

世界模型的目标是从历史交互数据中学习这些条件概率分布，从而无需再与真实环境交互，仅通过想象（imagination）即可进行策略优化。

1.2 模型学习的监督学习目标

给定经验回放缓冲区 ，世界模型的参数 通过以下监督学习目标进行优化：

2. Dreamer 系列

Dreamer 是 Hafner 等人提出的基于世界模型的强化学习系列算法，其核心创新在于在隐状态空间中进行高效的策略优化。

2.1 Dreamer v1：RSSM（Recurrent State Space Model）架构

Dreamer v1 提出了 RSSM，一种混合了确定性隐状态和随机性隐状态的模型架构：

Misplaced &h_t = f_\theta(h_{t-1}, z_t, a_{t-1}) & (deterministic hidden state) \\ z_t \sim p_\phi(z_t \mid h_t, o_t) & (stochastic hidden state) \\ o_t \sim p_\psi(o_t \mid h_t, z_t) & (observation reconstruction) \\ r_t \sim p_\xi(r_t \mid h_t, z_t) & (reward prediction) \end{cases}$$ 其中： - $h_t$：确定性 RNN 隐状态（捕捉长期依赖） - $z_t$：随机变量（处理环境不确定性） - $o_t$：观测（像素或特征） - $a_{t-1}$：上一时刻动作 ### 2.2 Dreamer v2/v3：表示能力增强 **Dreamer v2** 的主要改进： 1. **特征对齐（Feature Alignment）**：将像素级重建替换为特征级对齐 2. **动作离散化（Action Discretization）**：将连续动作空间映射到离散嵌入 3. **混合自动编码器架构**：引入双路径编码器 **Dreamer v3** 的主要改进： 1. **尺度化架构（Scalar Latent）**：引入标量随机隐变量 2. **无人工特设计的网络架构**：通过超参数自动搜索发现更好的配置 3. **3D 视觉环境的端到端学习**：首次在 Minecraft 等复杂 3D 环境中实现 --- ## 3. SimPLe（Sample Efficient Model-based RL） SimPLe 是 2019 年由 Kaiser 等人提出的像素级 Model-based RL 算法。 ### 3.1 像素级世界模型的构建 SimPLe 使用一个**视频预测模型**作为世界模型，输入当前帧和动作序列，预测下一帧。 ### 3.2 交叉熵方法（CEM）用于动作规划 CEM 是一种基于采样的优化算法，通过迭代优化动作序列分布来最大化预期奖励。 --- ## 4. MuZero（AlphaFold2 的 RL 版） MuZero 是 DeepMind 提出的无模型先验的基于模型的强化学习算法，其核心创新是**无需显式建模环境动力学**，而是通过隐模型学习"最优"的奖励预测。 ### 4.1 隐状态空间建模 MuZero 维护一个**隐状态空间**，通过以下组件建模： $$\begin{aligned} \text{表示网络（Representation）}: & \quad h_\phi(s_0) = h_0 \\ \text{动态网络（ dynamics）}: & \quad (r_t, s_{t+1}) = g_\phi(s_t, a_t) \\ \text{预测网络（Prediction）}: & \quad (\pi_t, v_t) = f_\phi(s_t) \end{aligned}$$ ### 4.2 MCTS（蒙特卡洛树搜索）与模型预测的结合 MuZero 将 MCTS 与学习到的隐模型结合，实现高效的规划。 --- ## 5. 视觉模型预测 ### 5.1 视频预测模型 **DVDMF（Variational Discriminative Video Prediction）**： $$p(o_{1:H} \mid o_0, a_{0:H-1}) = \int p_\theta(o_{1:H} \mid z, o_0, a_{0:H-1}) q_\phi(z \mid o_0, a_{0:H-1}) dz$$ ### 5.2 随机性与确定性世界模型 | 特性 | 确定性模型 | 随机性模型 | |------|-----------|-----------| | 表达式 | $\hat{s}_{t+1} = f_\theta(s_t, a_t)$ | $\hat{s}_{t+1} \sim p_\theta(\cdot \mid s_t, a_t)$ | | 梯度传播 | 高效、稳定 | 需要变分推断或 importance sampling | | 误差累积 | 快速发散 | 较慢（随机性"吸收"误差） | | 探索 | 隐式 | 显式（熵正则化） | | 代表算法 | World Models, Dreamer | RSSM, SVG, PET | --- ## 6. Model-based RL 的理论分析 ### 6.1 模型误差上界（Model Error Bound） 设 $\hat{p}$ 为学习到的转移模型，$p^*$ 为真实转移模型。定义总变差距离： $$d_{TV}(p^*(\cdot \mid s, a), \hat{p}(\cdot \mid s, a)) = \frac{1}{2} \sum_{s'} |p^*(s' \mid s, a) - \hat{p}(s' \mid s, a)|$$ **定理（模型误差累积上界）**： $$|J(\pi) - \hat{J}(\pi)| \leq \frac{2 R_{\max} \epsilon}{(1-\gamma)^2} \cdot H$$ --- ## 7. 规划算法 ### 7.1 模型预测控制（MPC） MPC 是一种闭环控制策略，其核心思想是**在有限 horizon 内求解最优控制序列，但仅执行第一个动作**。 ### 7.2 交叉熵方法（CEM）在规划中的应用 CEM 维护一个高斯分布 $p(a_{0:H-1}) = \mathcal{N}(\mu, \Sigma)$，通过迭代优化逼近最优解。 --- ## 参考文献 1. Hafner, D., Lillicrap, T., Fischer, I., et al. (2019). Dream to Control: Learning Behaviors by Latent Imagination. *NeurIPS*. 2. Hafner, D., Lillicrap, T., Ba, J., & Norouzi, M. (2020). Dream to Control: Learning Behaviors by Latent Imagination. *ICLR*. 3. Kaiser, L., Babaeizadeh, M., Milos, P., et al. (2019). Model-Based Reinforcement Learning for Atari. *ICLR*. 4. Schrittwieser, J., Antonoglou, I., Hubert, T., et al. (2020). Mastering Atari, Go, Chess and Shogi by Planning with a Learned Model. *Nature*.

Graph View