0-世界模型路线图
一句话定位
世界模型是智能体对环境进行表示学习与未来预测的核心构件，通过学习环境的隐含动力学模型实现想象、规划和决策。
前置依赖
- 强化学习基础（马尔可夫决策过程、值函数、策略梯度）
- 深度学习基础（表示学习、变分推断、自编码器）
- 概率论基础（潜变量模型、贝叶斯推断）
- 动力学系统基础（常微分方程、流形）
核心思想
世界模型的核心思想是将智能体与环境的交互建模为一个马尔可夫决策过程的隐含表示学习问题。智能体不直接对高维观测（如原始图像）进行操作，而是学习一个紧凑的潜变量
世界模型的研究可追溯至 1990 年代的潜空间模型（latent space model），在 2018 年 Ha and Schmidhuber 提出 “World Models” 论文后引起广泛关注。其核心价值在于：
- 样本效率提升：在世界模型内部进行 Rollout，避免与真实环境的大量交互
- 长时序规划：在压缩的潜空间中进行多步想象
- 模块化组合：感知模块、世界模型、控制器可独立训练和组合
技术路线图
┌─────────────────────────────────────────┐
│ 世界模型 (World Models) │
└─────────────────────────────────────────┘
│
┌─────────────────────────────────┼─────────────────────────────────┐
│ │ │
▼ ▼ ▼
┌───────────────────┐ ┌───────────────────────┐ ┌───────────────────┐
│ 1-世界模型基础 │ │ 2-世界模型主线论文 │ │ 3-规划与控制 │
│ │ │ │ │ │
│ • 什么是世界模型 │ │ • 早期世界模型 │ │ • MPC │
│ • 观测与表征 │ │ (DreamerV1/V2/V3) │ │ • PETS │
│ • 动力学建模 │ │ • Latent Planning │ │ • Model-based RL │
│ • 想象与未来预测 │ │ (PlaNet, DreamerV3) │ │ • Optimal Control │
│ │ │ • Imagination RL │ │ │
│ │ │ (MuZero, STOVE) │ │ │
└───────────────────┘ │ • Search-based │ └───────────────────┘
│ (AlphaZero类) │
│ • 连续控制世界模型 │
│ (Swing-Up, Cheetah)│
│ • Transformer世界模型│
│ (Video World Model)│
└───────────────────────┘
│
┌─────────────────────┼─────────────────────┐
│ │ │
▼ ▼ ▼
┌───────────────┐ ┌───────────────┐ ┌───────────────┐
│ 4-生成式增强 │ │ 5-实验复现与 │ │ 6-科研问题与 │
│ 世界模型 │ │ 工程实现 │ │ 开放方向 │
│ │ │ │ │ │
│ • 视觉细节增强 │ │ • 分布式训练 │ │ • 样本效率 │
│ • Transformer增强 │ │ • 混合精度 │ │ • 泛化能力 │
│ • 多模态世界模型 │ │ • 评估基准 │ │ • 因果推断 │
└───────────────┘ │ • Debug技术 │ │ • 安全世界模型│
└───────────────┘ └───────────────┘
数学形式化
世界模型的核心组件
世界模型通常由三个核心组件构成：
-
表征模型（Encoder/Observation Model）
- 将高维观测
映射到低维潜变量 - 通常使用变分自编码器（VAE）或随机 variational encoder
- 将高维观测
-
转移模型（Transition/Dynamics Model）
- 预测在动作
作用下潜状态的转移 - 可为确定性（GRU/LSTM）或随机性（VAE/ normalizing flow）
- 预测在动作
-
奖励模型（Reward Model）
（可选） - 预测状态-动作对的即时奖励
- 用于 imagination-based planning
训练目标
世界模型的训练通过最大化观察序列的边缘似然下界（ELBO）：
其中：
：解码器/观测模型 ：后验encoder ：先验/转移模型（预测） ：KL正则化权重（β-VAE） ：KL散度
Imagination Rollout
在训练好世界模型后，可以通过想象 Rollout 进行规划：
控制器通过最大化累积奖励来选择动作：
其中
主要技术路线
路线一：早期世界模型（Dreamer 系列）
| 论文 | 年份 | 核心贡献 | 关键公式 |
|---|---|---|---|
| World Models (Ha & Schmidhuber) | 2018 | 首次提出世界模型概念框架 | VAE + MDN-RNN |
| DreamerV1 | 2019 | 端到端强化学习训练世界模型 | 回合制演员-评论家 |
| DreamerV2 | 2020 | RSSM：随机与确定性状态分离 | |
| DreamerV3 | 2023 | 统一算法，支持离散/连续控制 | KL balancing |
路线二：Latent Planning（PlaNet 系列）
| 论文 | 年份 | 核心贡献 | 关键公式 |
|---|---|---|---|
| PlaNet | 2019 | 基于模型的策略优化（无动作） | 交叉熵方法（CEM） |
| 深度PlaNet | 2021 | 像素级世界模型 | Dreamer-style training |
路线三：Imagination RL（MuZero 系列）
| 论文 | 年份 | 核心贡献 | 关键公式 |
|---|---|---|---|
| MuZero | 2020 | 基于模型的想象力增强蒙特卡洛树搜索 | UCB + 重新分析 |
| STOVE | 2024 | 纯基于Transformer的世界模型 | Autoregressive rollout |
路线四：Search-based 路线
| 论文 | 年份 | 核心贡献 | 关键公式 |
|---|---|---|---|
| AlphaZero | 2018 | 无模型的自玩搜索 | PUCT公式 |
| EfficientZero | 2021 | 样本效率提升 | 模型利用率 |
路线五：连续控制世界模型
针对连续控制任务（如机器人操作、物理系统控制）优化的世界模型，通常使用 MuJoCo/Physica 作为模拟环境。
路线六：Transformer世界模型
使用 Transformer 架构替代 RNN/LSTM 进行时序建模，支持更长时序的依赖关系。
模型结构图
输入观测 o_t
│
▼
┌────────────────┐
│ Encoder │ p(z_t | o_t) 或 q(z_t | o_t)
│ (VAE/卷积网络) │
└────────────────┘
│ z_t
▼
┌────────────────┐
│ 潜空间 Z │
│ (低维表示) │
└────────────────┘
│
▼
┌────────────────┐
│ Transition Model│ p(z_{t+1} | z_t, a_t)
│ (RNN/Transformer)│
└────────────────┘
│ z_{t+1}
▼
┌────────────────┐
│ Decoder │
│ p(o_{t+1} | z_{t+1})
│ (生成观测) │
└────────────────┘
│
▼
┌────────────────┐
│ 奖励/价值预测 │
│ (可选) │
└────────────────┘
训练细节
表征学习训练
观测模型：使用重构损失 + KL 正则化
动力学模型训练
转移模型：使用 KL 损失训练预测分布与后验分布的对齐
Dreamer 的 KL Balancing
在 DreamerV2/V3 中，采用 KL balancing 技术平衡两个目标：
其中
优化器配置
| 参数 | 典型值 |
|---|---|
| 学习率 | 1e-4 ~ 3e-4 |
| 批大小 | 16 ~ 256 |
| 折扣因子 | 0.99 ~ 0.999 |
| KL 权重 | 0.1 ~ 1.0 |
| 想象 horizon | 10 ~ 50 |
推理/Rollout/规划流程
1. 表征学习阶段
输入观测序列
其中
2. 动力学预测阶段（想象 Rollout）
给定当前潜状态
3. 规划阶段
使用交叉熵方法（Cross-Entropy Method, CEM）或蒙特卡洛树搜索（MCTS）优化动作序列：
CEM 规划：
MCTS 规划（如 MuZero）：
其中
优缺点分析
优点
- 样本效率：在世界模型内部进行大量想象Rollout，减少与真实环境交互
- 长时序依赖：在紧凑潜空间中进行长步数预测
- 模块化：各组件可独立训练和微调
- 可解释性：潜变量提供了一定的状态可解释性
局限性
- 表征学习瓶颈：观测重构质量直接影响潜状态的语义表达能力
- 自Bias问题：世界模型可能生成不符合真实物理规律的想象轨迹
- 分布偏移：想象Rollout与真实交互的分布差异
- 计算开销：大模型的世界模型训练和推理成本高
与其他笔记的关联
前置基础（1-世界模型基础）
主线论文（2-世界模型主线论文）
- 1-早期世界模型：Dreamer系列详细解读
- 2-latent planning路线：PlaNet系列
- 3-imagination RL路线：MuZero系列
- 4-search-based路线：AlphaZero系列
- 5-连续控制世界模型：机器人控制应用
- 6-Transformer世界模型：长时序Transformer架构
应用与扩展
- 3-规划与控制：MPC、PETS等规划算法
- 4-生成式增强世界模型：视觉质量提升
- 5-实验复现与工程实现：分布式训练、评估基准
可复现性要点
- 环境搭建：使用 MuJoCo/Physica/Gymnasium 准备标准环境
- 模型初始化：潜维度通常设为 32~512，动作维度为环境相关
- 训练监控：监控 ELBO、重构损失、KL散度、回报预测误差
- 评估指标：Episode return、Sample efficiency、Imagination accuracy
总结
世界模型作为连接感知与决策的关键桥梁，通过学习环境的压缩潜表示和转移规律，使智能体能够在想象的潜空间中”做梦”并据此规划行动。从 2018 年 Ha & Schmidhuber 提出概念框架以来，该领域经历了从梦开始到大规模 Transformer 世界模型的演变。当前研究的重点包括：提升世界模型的泛化能力、减小想象与现实的偏差、以及将世界模型与大型语言模型结合实现通用智能体。
关键词
世界模型、潜变量模型、动力学模型、Imagination Rollout、规划与控制、变分推断、表示学习、模型预测控制、策略优化、分布式训练