Huajishe Notes

6-离线强化学习

7 min read

Offline RL（离线强化学习）

1. Offline RL 的定义与挑战

1.1 问题定义

Offline Reinforcement Learning（离线强化学习）又称为 Batch Reinforcement Learning，旨在从一批由未知行为策略 生成的固定交互数据 中学习最优策略，而无需与环境进行任何额外交互。

形式化地，给定：

  • 状态空间 和动作空间
  • 转移概率 和奖励函数
  • 数据集 ，其中样本来自 （行为策略）

目标是学得一个策略 使得期望累积奖励 最大。

1.2 Offline RL vs Online RL：数据分布偏移问题

Online RL 的核心假设是智能体能够持续与环境交互，数据分布随策略更新而同步演化。Offline RL 则面临根本性的困境：学习过程中无法进行交互，只能依赖于固定数据集 中的经验。

数据分布偏移（Distributional Shift）

在 Offline RL 中，策略 生成的动作用于计算价值函数和下一步决策，但这些动作可能从未出现在数据集 中。

1.3 分布偏移的数学刻画

定义累计折扣状态-动作分布：

价值函数 在状态-动作对 上的估计质量取决于该 在数据中的覆盖程度。

2. 策略约束方法

策略约束方法的核心思想是：将策略搜索限制在数据分布附近，以减轻分布偏移带来的外推误差。

2.1 BCQ（Batched Constrained Q-Learning）

BCQ 的核心观察是：数据集中的 对是”安全的”，因此将学得策略 限制为仅能输出数据中见过的动作的扰动版本。

BCQ 原版核心逻辑：

  1. 先用条件 VAE 拟合数据集内合法动作分布，仅生成贴近数据分布的候选动作
  2. 从 VAE 生成有限个候选动作，选取其中 Q 值最大的动作执行
  3. 约束核心：禁止生成远离数据分布的 OOD 动作

2.2 CQL（Conservative Q-Learning）

CQL 的出发点是：标准 Q-Learning 在 Offline 设定下会系统性地高估 OOD 动作的 值。为解决此问题，CQL 引入保守估计，对 OOD 动作的 值施加惩罚。

CQL 目标函数：

其中 是 Conservative 正则化项，用于压低 OOD 动作 Q 值，抬高数据内动作 Q 值。

2.3 IQL（Implicit Q-Learning）

IQL 观察到：CQL 需要在动作空间上计算 softmax，这对于连续动作空间计算代价高昂。IQL 转而采用expectile regression 来隐式地学习一个保守的价值估计。

3. 重要性采样方法

3.1 重要性采样基础

在 Off-policy 强化学习中，重要性采样比（Importance Sampling Ratio）用于修正策略差异：

Off-policy 修正：

4. 价值函数约束与不确定性

4.1 不确定性估计在 Offline RL 中的作用

Offline RL 中的价值估计误差主要来源于：

  1. 认知不确定性（Epistemic Uncertainty）：由于有限数据导致的模型不确定性
  2. 偶然不确定性（Aleatoric Uncertainty）：环境固有的随机性

4.2 Ensemble 方法与 Bootstrap

给定数据集 ，通过有放回抽样生成 个 bootstrap 数据集。

价值估计集成：

不确定性估计：

5. 模型基础 Offline RL（Model-based Offline RL）

5.1 问题设定

在 Model-based Offline RL（MBRL）中，我们首先从数据 中学习一个动态模型 ，然后基于该模型进行策略优化。

优势：

  • 可以通过模型生成额外的转移样本
  • 可以进行”想象力”规划

风险：

  • 模型误差在外推中会被放大
  • 错误模型可能导致完全错误的策略

6. Decision Transformer 与生成式方法

6.1 Decision Transformer 序列建模

Decision Transformer（Chen et al., 2021）将 RL 问题重新表述为序列建模问题：

输入序列：

输出：预测下一动作

6.2 Offline RL 与扩散模型

扩散模型作为策略表示用于 Offline RL：

前向过程（添加噪声）：

反向过程（去噪）：

7. 算法总结与比较

算法核心方法适用场景关键超参数
BCQVAE + 约束动作空间连续动作，数据覆盖较好扰动幅度 ，采样数
CQLConservative Q 正则化需要理论保证的保守估计（正则化强度）
IQLExpectile regression高效连续控制，无需枚举动作（expectile），（温度）
Decision Transformer序列建模 + 回报条件长程任务，需要条件控制上下文长度 ，embed 维度

参考文献

  1. Fujimoto, S., Meger, D., & Precup, D. (2019). Off-policy deep reinforcement learning without exploration. ICML.
  2. Kumar, A., Zhou, A., Tucker, G., & Levine, S. (2020). Conservative Q-Learning for offline reinforcement learning. NeurIPS.
  3. Kostrikov, I., Nair, A., & Levine, S. (2022). Offline reinforcement learning with implicit Q-learning. ICLR.
  4. Chen, L., Lu, K., Rajeswaran, A., et al. (2021). Decision transformer: Reinforcement learning via sequence modeling. NeurIPS.

Graph View