2-术语表
一句话定位
本文档收录世界模型（World Models）研究领域的核心术语，提供统一的符号系统（Notation），并解释跨论文的命名差异与演变。
前置依赖
- 概率论与统计学基础
- 机器学习基础术语
- 强化学习基本概念
核心思想
世界模型领域术语存在明显的术语不统一问题：不同论文对同一概念使用不同命名，同一命名在不同上下文中含义不同。本文旨在建立统一的术语参照系：
- 拉丁字母：通常用于表示随机变量和向量
- 希腊字母：通常用于表示参数和超参数
- 上下标：区分时间步、样本、模型组件
本文档同时记录术语的”别名”，便于阅读不同论文时快速对应。
符号系统（Notation）
基础集合
| 符号 | 含义 | 集合类型 |
|---|---|---|
| 观测空间 | ||
| 动作空间 | ||
| 状态空间（真实环境） | ||
| 潜空间 | ||
| RNN/LSTM 隐藏状态空间 | ||
| 奖励值域 |
时间索引变量
| 符号 | 含义 | 备注 |
|---|---|---|
| 时间步 | ||
| 时间步 | ||
| 时间步 | ||
| 时间步 | ||
| 时间步 | ||
| 时间步 | ||
| 预测/想象变量 | 与真实变量 | |
| 后验/ encoder 变量 |
模型参数
| 符号 | 含义 | 对应模型组件 |
|---|---|---|
| 世界模型参数 | 转移模型 | |
| 解码器/观测模型参数 | ||
| 编码器/推理模型参数 | ||
| 策略函数 | ||
| 值函数参数 | 批评家网络 |
概率分布
| 符号 | 含义 | 备注 |
|---|---|---|
| 转移模型/先验 | 预测下一个潜状态 | |
| 编码器/观测后验 | 从观测推断潜状态 | |
| 解码器/观测模型 | 从潜状态重构观测 | |
| 奖励模型 | 预测即时奖励 |
核心术语定义
World Model（世界模型）
定义：智能体对环境交互过程的内部表示与预测模型。通过学习环境的压缩潜表示和转移规律，支持想象（imagination）和规划（planning）。
别名：World Models, Learned World Model, Learned Dynamics Model, Internal Model, Forward Model
数学形式：
论文出处：Ha D, Schmidhuber J. “World Models” (arXiv 2018)
Latent Variable（潜变量）
定义：表示环境状态的低维向量，通常通过变分推断从高维观测中学习得到。
别名：Latent State, Hidden State, Representation, Embedding, Code
符号：
维度：通常 32 ~ 512 维，比原始观测（百万维像素）压缩 3-4 个数量级
数学形式：
Transition Model（转移模型）
定义：预测在动作作用下环境状态转移的模型。
别名：Dynamics Model, Forward Model, Transition Function, State Transition Model, World Model
数学形式：
确定性版本：
随机性版本：
论文出处：Dreamer 系列，PlaNet 系列
RSSM（循环状态空间模型）
定义：DreamerV2 提出的架构，将状态分解为确定性 RNN 隐藏状态
别名：Stochastic State Space Model, Variational RNN
数学形式：
论文出处：Hafner D, et al. “Mastering Atari with Discrete World Models” (ICLR 2021)
Imagination Rollout（想象Rollout）
定义：在世界模型内部进行的多步状态预测，模拟未来轨迹而不需要真实环境交互。
别名：Imagined Trajectory, Dream Rollout, Latent Rollout, Virtual Rollout, MCTS Simulation
数学形式：
应用：Dreamer 的批评家训练、MuZero 的 MCTS 规划
KL Balancing
定义：DreamerV2 中控制自由 KL 损失与受限 KL 损失平衡的技术。
别名：KL Weight Balancing, Free Nats, Beta Scheduling
数学形式：
其中
论文出处：DreamerV2 / DreamerV3
Model Predictive Control（模型预测控制，MPC）
定义：基于已学习的世界模型进行在线规划，通过优化动作序列来选择当前动作。
别名：Receding Horizon Control, Rolling Horizon Control
数学形式：
其中
Cross-Entropy Method（交叉熵方法，CEM）
定义：基于采样的优化算法，用于在 MPC 中优化动作序列。
别名：CEM-Planner, Cross-Entropy Optimization
数学形式：
- 从分布
采样 个候选序列 - 评估每个序列的累积奖励
- 选择 top-
% 更新分布 - 迭代直到收敛
论文出处：PlaNet, DMCS
UCB（上置信界）
定义：用于 MCTS 中的探索-利用平衡的公式。
别名：UCB1, Upper Confidence Bound for Trees
数学形式：
其中
论文出处：MuZero, AlphaZero
ELBO（变分下界）
定义：变分推断中用于优化近似后验的目标函数。
别名：Evidence Lower Bound, Variational Lower Bound
数学形式：
在世界模型中扩展为：
论文出处：Kingma & Welling (VAE, 2014), Dreamer 系列
Reanalysis（重分析）
定义：MuZero 中使用收集到的真实经验通过世界模型重新生成更高质量的返回值。
别名：Self-supervised Reanalysis, Model-based Reanalysis
数学形式：
其中
论文出处：MuZero
跨论文术语对照
同一概念的不同命名
| 概念 | Dreamer 系列 | PlaNet/MuZero | 其他别名 |
|---|---|---|---|
| 潜状态 | latent state | latent state / h | representation, embedding |
| RNN状态 | deterministic state | recurrent state | hidden state, memory |
| 编码器 | encoder / inference model | encoder / embed | recognition model, variational posterior |
| 转移模型 | world model / dynamics | model / transition | forward model, dynamics function |
| 想象预测 | imagination rollout | model rollout / playout | virtual rollout, dream |
| 规划算法 | CEM / gradient-based | MCTS | planning, model-predictive control |
时间步命名差异
| 符号 | Ha (2018) | Hafner (Dreamer) | Sutton & Barto (RL) |
|---|---|---|---|
| 时间步 | |||
| 观测 | |||
| 动作 | |||
| 奖励 | |||
| 状态 |
超参数术语
| 超参数 | 符号 | 典型值 | 说明 |
|---|---|---|---|
| 折扣因子 | 0.99 ~ 0.999 | 未来奖励的衰减率 | |
| KL 权重 | 0.1 ~ 1.0 | VAE 正则化强度 | |
| 想象地平线 | 10 ~ 50 | Rollout 的步数 | |
| 批大小 | 16 ~ 256 | 训练批大小 | |
| 潜维度 | 32 ~ 512 | 潜变量的维度 | |
| 隐藏维度 | 256 ~ 2048 | RNN 隐藏状态维度 | |
| 学习率 | 1e-4 ~ 1e-3 | 优化器学习率 |
缩写表
| 缩写 | 全称 | 中文 |
|---|---|---|
| WM | World Model | 世界模型 |
| RSSM | Recurrent State Space Model | 循环状态空间模型 |
| VAE | Variational Autoencoder | 变分自编码器 |
| ELBO | Evidence Lower Bound | 变分下界 |
| CEM | Cross-Entropy Method | 交叉熵方法 |
| MPC | Model Predictive Control | 模型预测控制 |
| MCTS | Monte Carlo Tree Search | 蒙特卡洛树搜索 |
| UCB | Upper Confidence Bound | 上置信界 |
| RL | Reinforcement Learning | 强化学习 |
| MDP | Markov Decision Process | 马尔可夫决策过程 |
| KL | Kullback-Leibler (divergence) | KL散度 |
| H | Horizon | 地平线/步数 |
常用公式速查
VAE / 世界模型 ELBO
RSSM 状态更新
Imagination Rollout
MPC 优化目标
UCB 探索公式
折扣回报
与其他笔记的关联
总结
术语表作为世界模型笔记库的参照系，通过统一的符号系统和详细的术语定义，帮助读者快速理解不同论文的notation约定。重点关注：同一概念的不同命名（如 latent state 有多种称呼）、符号的时间维度（上标/下标）、以及关键超参数的物理含义。熟练掌握本术语表后，阅读新论文时将能够快速提取核心算法框架。
关键词
术语表、符号系统、Notation、世界模型、Latent Variable、Transition Model、RSSM、Imagination Rollout、MPC、MCTS、ELBO