1-阅读顺序
一句话定位
为研究者和工程师提供世界模型（World Models）领域从入门到前沿的系统性阅读路径，明确各模块间的依赖关系与学习优先级。
前置依赖
- 机器学习基础（监督学习、无监督学习、强化学习）
- 深度学习基础（神经网络、反向传播、变分推断）
- 概率论与统计学基础
- 线性代数与微积分基础
核心思想
本文档梳理世界模型领域的论文与笔记阅读顺序，按照”概念基础
世界模型作为一个快速发展的领域，不同技术路线之间存在交叉与融合。本文将主要路线按时间顺序展开，同时标注跨路线的依赖关系，帮助读者构建完整的知识图谱。
阅读路径总览
┌────────────────────────────┐
│ 阅读起点：前置基础 │
│ (机器学习/深度学习/概率论) │
└────────────────────────────┘
│
▼
┌────────────────────────────┐
│ 第一阶段：基础概念建立 │
│ 1-世界模型基础 (4个模块) │
└────────────────────────────┘
│
┌───────────────┼───────────────┐
│ │ │
▼ ▼ ▼
┌─────────────────┐ ┌─────────────────┐ ┌─────────────────┐
│ 第二阶段主线论文 │ │ │ │ │
│ 2-世界模型主线 │ │ │ │ │
│ (6个模块) │ │ │ │ │
└─────────────────┘ │ │ │
│ │ │ │
│ ▼ ▼
│ ┌─────────────────────────────┐
│ │ 第三阶段：应用与扩展 │
│ │ 3-规划与控制 │
│ │ 4-生成式增强世界模型 │
│ └─────────────────────────────┘
│ │
│ ▼
│ ┌─────────────────────────────┐
│ │ 第四阶段：工程与科研 │
│ │ 5-实验复现与工程实现 │
│ │ 6-科研问题与开放方向 │
│ └─────────────────────────────┘
│
▼
┌─────────────────────────────┐
│ 可选：前沿论文追踪 │
│ (arXiv 热点、顶级会议新工作) │
└─────────────────────────────┘
第一阶段：基础概念建立（约 2-3 周）
目标：建立世界模型的核心概念框架，理解”观测-表征-动力学-想象”的完整链路。
1.1 首先阅读：什么是世界模型
文件：../1-世界模型基础/1-什么是世界模型.md
核心内容：
- 世界模型的定义与起源（Ha & Schmidhuber, 2018）
- 世界模型 vs 传统强化学习的区别
- 世界模型的核心价值：样本效率提升
必读论文：
- Ha D, Schmidhuber J. World Models. arXiv 2018.
阅读时长：约 3-5 小时
前置知识检查：
- 理解马尔可夫决策过程（MDP）的基本要素：状态、动作、奖励、转移
- 理解强化学习中轨迹（trajectory）的概念：
1.2 第二步：观测与表征
文件：../1-世界模型基础/2-观测与表征.md
核心内容：
- 观测模型：VAE/自动编码器架构
- 表征学习的目标函数：重构损失 + KL 正则化
- 潜变量的维度选择与信息瓶颈
关键公式：
变分自编码器的 ELBO：
必读论文：
- Kingma D P, Welling M. Auto-Encoding Variational Bayes. ICLR 2014.
前置知识检查：
- 理解变分推断的基本思想
- 理解 KL 散度作为正则化项的作用
阅读时长：约 4-6 小时
1.3 第三步：动力学建模
文件：../1-世界模型基础/3-动力学建模.md
核心内容：
- 转移模型（Transition Model）的设计
- 确定性状态 vs 随机状态（RSSM 架构）
- 奖励模型与值函数估计
关键公式：
RSSM 的状态更新：
必读论文：
- Hafner D, et al. Dream to Control: Learning Behaviors by Latent Imagination. ICLR 2020. (DreamerV1)
前置知识检查：
- 理解 RNN/LSTM 的时序建模能力
- 理解策略梯度（Policy Gradient）的基本形式
阅读时长：约 5-7 小时
1.4 第四步：想象与未来预测
文件：../1-世界模型基础/4-想象与未来预测.md
核心内容：
- Imagination Rollout 的机制
- 想象轨迹的质量评估
- 世界模型误差的传播与累积
关键公式：
想象 Rollout 的多步预测：
前置知识检查：
- 理解折扣回报（discounted return）的概念
- 理解值函数（Value Function）
和 Q 函数
阅读时长：约 4-6 小时
阶段一检查点
完成第一阶段后，你应该能够：
- 解释世界模型如何通过潜变量实现样本效率提升
- 写出 VAE 的 ELBO 目标函数
- 描述 RSSM 架构中确定性状态与随机状态的交互方式
- 说明 imagination roll-out 的前向传播过程
第二阶段：核心算法精读（约 3-4 周）
目标：深入理解各技术路线的核心论文，掌握关键算法的数学推导与实现细节。
路线一：早期世界模型（Dreamer 系列）
优先级：最高（代码实现最完善，社区影响力最大）
阅读顺序：
-
DreamerV1 - 奠基性工作
- 文件：
../2-世界模型主线论文/1-早期世界模型/ - 论文：Hafner D, et al. “Dream to Control” (ICLR 2020)
- 核心：端到端训练世界模型 + 演员-评论家
- 文件：
-
DreamerV2 - 架构改进
- 论文：Hafner D, et al. “Mastering Atari with Discrete World Models” (ICLR 2021)
- 核心：RSSM 改进、离散化潜空间、KL balancing
-
DreamerV3 - 统一算法
- 论文：Hafner D, et al. “Mastering Diverse Domains through World Models” (arXiv 2023)
- 核心：统一处理离散/连续控制、稀疏奖励
关键公式：
DreamerV2 的 KL Balancing：
其中
路线二：Latent Planning（PlaNet 系列）
优先级：高（理论优雅，规划算法经典）
阅读顺序：
-
PlaNet - 概念引入
- 文件：
../2-世界模型主线论文/2-latent planning路线/ - 论文：Hafner D, et al. “Learning Latent Dynamics for Planning from Pixels” (ICLR 2019)
- 核心：基于像素学习潜动力学，无动作的交叉熵规划
- 文件：
-
深度PlaNet - 规模化
- 论文：Schrittwieser J, et al. “Deep Planning with Recurrent World Models” (ICLR 2021)
关键公式：
交叉熵方法（CEM）规划：
其中
路线三：Imagination RL（MuZero 系列）
优先级：高（AlphaGo 技术传承，Games/Atari 效果最佳）
阅读顺序：
-
MuZero - 技术突破
- 文件：
../2-世界模型主线论文/3-imagination RL路线/ - 论文：Schrittwieser J, et al. “Mastering Atari, Go, Chess and Shogi by Planning with a Learned Model” (Nature 2020)
- 核心：隐含世界模型 + MCTS 搜索
- 文件：
-
STOVE - Transformer 世界模型
- 论文：van der Wijk et al. “STOVE: A World Model for Spacecraft Guidance” (arXiv 2024)
- 核心：纯 Transformer 替代 RNN
关键公式：
MuZero UCB 公式：
其中
路线四：Search-based 路线
优先级：中（与无模型 RL 交叉较多）
阅读顺序：
-
AlphaZero - 基础框架
- 文件：
../2-世界模型主线论文/4-search-based路线/ - 论文：Silver D, et al. “A general reinforcement learning algorithm that masters chess, shogi, and Go through self-play” (Science 2018)
- 文件：
-
EfficientZero - 样本效率
- 论文：Ye W, et al. “EfficientZero: Sample-Efficient Model-based RL via n-step Returns” (NeurIPS 2021)
路线五：连续控制世界模型
优先级：中（机器人控制应用导向）
阅读顺序：
-
连续控制基础
- 文件：
../2-世界模型主线论文/5-连续控制世界模型/ - 环境：MuJoCo/Humanoid/Walker
- 文件：
-
Swing-up 控制
- 论文：Hafner D. “Learning world models for sparse reward control” (NeurIPS 2023)
路线六：Transformer 世界模型
优先级：中（当前前沿扩展方向）
阅读顺序：
- Video World Model
- 文件：
../2-世界模型主线论文/6-Transformer世界模型/ - 核心：长时序视频预测与生成
- 文件：
阶段二检查点
完成第二阶段后，你应该能够：
- 从零实现 DreamerV2 的核心训练循环
- 推导 MuZero 中 UCB 公式与策略评估的关系
- 分析不同路线的优缺点与适用场景
- 对比 RSSM 与 MCTS 两种想象机制的差异
第三阶段：应用与扩展（约 2-3 周）
3.1 规划与控制
文件：../3-规划与控制/
内容：
- MPC（模型预测控制）：基于采样的规划
- PETS（Probabilistic Ensemble with Trajectory Sampling）：不确定性感知规划
- 鲁棒 MPC：对抗性扰动下的规划
关键公式：
MPC 的优化目标：
3.2 生成式增强世界模型
文件：../4-生成式增强世界模型/
内容：
- 视觉细节增强：视频扩散模型提升生成质量
- Transformer 增强：长时序依赖建模
- 多模态世界模型：视觉+语言+动作的联合建模
可选深度阅读：
- Video Diffusion Models：Ho J, et al. “Video Diffusion Models” (NeurIPS 2022)
- Imagen：Saharia C, et al. “Photorealistic Text-to-Image Diffusion Models” (arXiv 2022)
第四阶段：工程与科研（约 2-3 周）
4.1 实验复现与工程实现
文件：../5-实验复现与工程实现/
内容：
- 分布式训练框架（Ray/Accelerate）
- 混合精度训练与梯度缩放
- 评估基准与指标体系
- Debug 技术与训练稳定性
4.2 科研问题与开放方向
文件：../6-科研问题与开放方向/
前沿问题：
- 世界模型的泛化能力（从仿真到真实的迁移）
- 因果推断与世界模型的结合
- 安全世界模型（Safe World Model）
- 大型语言模型作为世界模型
阅读时间规划
入门路线（4 周）
| 周次 | 内容 | 论文量 |
|---|---|---|
| 第 1 周 | 基础概念 | 1-2 篇 |
| 第 2 周 | DreamerV1/V2 | 2 篇 |
| 第 3 周 | MuZero / PlaNet | 2 篇 |
| 第 4 周 | DreamerV3 / STOVE | 1-2 篇 |
深入路线（8 周）
在入门路线基础上，增加：
- 第 5-6 周：连续控制世界模型 + PETS/MPC
- 第 7 周：生成式增强世界模型
- 第 8 周：前沿论文追踪 + 复现选读
研究路线（12 周以上）
全面覆盖所有模块，选择一个子方向进行深入研究与创新。
辅助资源
代码仓库
| 项目 | 语言 | 说明 |
|---|---|---|
| DreamerV3 | Python | 官方实现，最新统一算法 |
| MuZero | Python | 通用的 MuZero 实现 |
| PlaNet | Python | TensorFlow 实现 |
| DreamerV2 | Python | PyTorch 实现 |
视频讲座
- DeepMind: World Models for RL
- Two Minute Papers: MuZero / Dreamer 系列讲解
评估环境
| 环境 | 说明 | 复杂度 |
|---|---|---|
| Gymnasium (Atari) | 像素级视觉输入 | 中 |
| MuJoCo | 连续控制物理模拟 | 高 |
| MineDojo | Minecraft 开放世界 | 极高 |
与其他笔记的关联
总结
世界模型领域按照”概念基础
关键词
阅读顺序、学习路径、Dreamer、MuZero、PlaNet、世界模型、论文精读、渐进学习